Συλλογή, ανάλυση και επεξεργασία δεδομένων από κοινωνικά δίκτυα με σκοπό την ανάλυση συναισθήματος και την ανίχνευση γεγονότων

Abstract

This PhD thesis aims at proposing solutions to important issues related to social network data analysis. The application to a heterogeneous multimedia environment is also examined. Several technologies are used such as delivery of high resolution multimedia content, methodologies for monitoring and analysing social network activity and use it to seamlessly annotate in real-time the presented educational movie using anthropocentric semantic extraction based on MPEG-7. In this way, the multimedia content of the presented movie can be easily reviewed by multiple geographically dispersed individuals and improved afterwards according to the received feedback. The system enhances the experience of the visitors in cultural educational centers and improves the educational process. It has been successfully used in the context of European research project EXPERIMEDIA in traditional and educational premises such as Foundation of the Hellenic World etc. Furthermore, a service for event detection focusing on social media data has been developed, which aims at clustering media items into groups of events based on their textural information as well as available metadata. Our approach is based on distance-dependent Chinese Restaurant Process, a clustering approach resembling Dirichlet process algorithm. Furthermore, we scrutinize the effectiveness of a series of pre-processing steps in improving the detection performance. The problem of sentiment analysis focusing on social media data has also been extensively examined and a sentiment analysis service has been developed, based on n-gram graphs algorithm in order to extract patterns and classify data into the available classes. Both services were evaluated using multiple datasets and metrics and were exploited in the context of European research project SUPER, as an important part of an integrated platform for empowering security and emergency agencies to fully leverage social media in their operations during emergencies.

Η παρούσα διδακτορική διατριβή μελετά και προτείνει ρεαλιστικές λύσεις σε σημαντικά θέματα που σχετίζονται με την ανάλυση δεδομένων από κοινωνικά δίκτυα. Στα πλαίσια της έρευνας μελετάται επίσης η εφαρμογή σε ένα ετερογενές πολυμεσικό περιβάλλον. Χρησιμοποιούνται πολλές τεχνολογίες όπως η μετάδοση υψηλήςανάλυσης πολυμεσικού περιεχομένου, μεθοδολογίες για επίβλεψη και ανάλυση τηςδραστηριότητας από κοινωνικά δίκτυα για την επισήμανση ταινιών σε πραγματικόχρόνο χρησιμοποιώντας ανθρωποκεντρική σημασιολογική εξαγωγή βασιζόμενη σε MPEG-7 προφίλ. Επιτυγχάνεται βελτίωση της εκπαιδευτικής διαδικασίας μέσω της παρουσίασης εκπαιδευτικών ταινιών σε παραδοσιακά πολιτιστικά κέντρα και μουσεία.Το παρουσιαζόμενο σύστημα μπορεί να χρησιμοποιηθεί σε πολλές εφαρμογές, όπου το κοινωνικό περιεχόμενο χρειάζεται να αναθεωρηθεί από πολλά άτομα που μπορεί να είναι γεωγραφικά απομακρυσμένα και να τροποποιηθεί ύστερα από ομάδα ειδικών σύμφωνα με τα ληφθέντα σχόλια. Αξιοποιήθηκε με επιτυχία στα πλαίσια του ευρωπαϊκού ερευνητικού έργου EXPERIMEDIA σε πολιτισμικά και εκπαιδευτικά κέντρα όπως στο Ίδρυμα Μείζονος Ελληνισμού κ.α. Παράλληλα, αναπτύχθηκε μια υπηρεσία εντοπισμού γεγονότων σε δεδομένα από κοινωνικά δίκτυα με στόχο να αναλύσει δεδομένα, προκειμένου να τα ομαδοποιήσεισε συλλογές βάσει του κειμένου και των διαθέσιμων μεταδεδομένων. Βασίζεται στον distance-dependent Chinese Restaurant Process αλγόριθμο, μια προσέγγιση ομαδοποίησης που ομοιάζει με τον αλγόριθμο της διαδικασίας Dirichlet, ενώ εξετάστηκε μια σειρά μεθόδων προεπεξεργασίας των δεδομένων και αξιολόγησης. Στα πλαίσια της διατριβής εξετάστηκε διεξοδικά επίσης το πρόβλημα της ανάλυσηςσυναισθήματος σε δεδομένα από κοινωνικά δίκτυα, όπου ανέπτυχθηκε μια υπηρεσία ανάλυσης συναισθήματος αξιοποιώντας τον αλγόριθμο γράφων ν-γραμμάτων προκειμένου να εξαχθούν μοτίβα και να ταξινομηθούν τα δεδομένα σε μια από τις διαθέσιμες κατηγορίες. Οι δύο υπηρεσίες αξιολογήθηκαν χρησιμοποιώντας πολλαπλά σύνολα δεδομένων και μετρικών και αξιοποιήθηκαν στα πλαίσια του ευρωπαϊκού ερευνητικού έργου SUPER ως βασικό τμήμα μιας ενιαίας πλατφόρμας για την αξιοποίηση των κοινωνικών δικτύων από τις υπηρεσίες πολιτικής προστασίας κατά την διάρκεια καταστάσεων έκτακτης ανάγκης.