Multimedia big data analysis and retrieval

Abstract

In this thesis, the problem of analyzing and retrieving content from multimedia big data datasets and especially the computationally efficient approaches for handling, analysing and retrieving multimedia descriptors, is studied. Initially, a presentation and analysis of related work, with emphasis on multimedia, the Internet and the social web, is conducted. Next, a semi-supervised clustering method for large datasets of high-dimensional descriptor vectors is presented along with a comparative evaluation with other state of the art methods. The presentation of a social event detection method, from social multimedia content, follows. Moreover, a methodology for analysing high-dimensional multimedia vectors is presented and evaluated for the computationally efficient indexing of such vectors. In parallel, the thesis presents a methodology and the research findings of real-time analysis and retrieval of high volumes of multimedia content with the synergy of the crowd in a hybrid human machine retrieval approach. Finally, the thesis presents a protocol for efficient distributed searching for multimedia content within content centric networks as well as the application of the protocol and methodology in images and 3D content. This thesis is concluded with the short presentation of the software tools that were implemented during these studies.

Στα πλαίσια της παρούσας διδακτορικής διατριβής μελετάται το πρόβλημα της ανάλυσης και αναζήτησης πολυμεσικών δεδομένων σε μεγάλες και δυναμικές βάσεις δεδομένων, και ειδικότερα ζητήματα που έχουν να κάνουν με την υπολογιστικά αποδοτική διαχείριση, ανάλυση και αναζήτηση μέσα σε μεγάλες βάσεις πολυμεσικών περιγραφέων (multimedia descriptors) και άλλων μεταδεδομένων πολυμέσων. Συγκεκριμένα, αρχικά παρουσιάζεται η σχετική βιβλιογραφία με έμφαση στα πολυμέσα, το διαδίκτυο και τα κοινωνικά δίκτυα. Στην συνέχεια, παρουσιάζεται μία νέα μέθοδος ομαδοποίησης (clustering) μεγάλου όγκου πολυδιάστατων διανυσματικών δεδομένων με χρήση ημι-εποπτευόμενης μάθησης και περιορισμούς, και παρατίθεται συγκριτική αξιολόγηση της μεθόδου με άλλες σχετικές μεθόδους. Ακολουθεί η παρουσίαση μεθόδου ομαδοποίησης πολυμεσικών δεδομένων από κοινωνικά δίκτυα για τον εντοπισμό συμβάντων στον πραγματικό κόσμο. Επιπρόσθετα παρουσιάζεται μία μεθοδολογία για την ανάλυση πολυδιάστατων διανυσμάτων περιγραφέων και η χρήση της για την αποδοτική διευθυνσιοδότηση (indexing) περιγραφέων εικόνων διατηρώντας το υπολογιστικό κόστος χαμηλό. Επιπλέον παρουσιάζεται μεθοδολογία και ερευνητικά αποτελέσματα για την, σε πραγματικό χρόνο, ανάλυση και αναζήτηση πολυμέσων μεγάλου όγκου με την συνέργια υπολογιστικών μεθόδων με ανθρωποκεντρικές τεχνικές και την συλλογική ευφυΐα. Τέλος, παρουσιάζεται ένα πρωτόκολλο για την αποδοτική αναζήτηση πολυμέσων μέσα σε περιεχομενο-κεντρικά δίκτυα (Content-Centric Networks), καθώς και παρουσιάζεται η εφαρμογή του σε αναζήτηση εικόνων και 3Δ αντικειμένων σε ένα πειραματικό δίκτυο. Η διατριβή ολοκληρώνεται με την σύντομη παρουσίαση του λογισμικού που αναπτύχθηκε κατά την διάρκεια αυτής της προσπάθειας.