Σημασιολογική ανάλυση πολυμεσικού περιεχομένου με χρήση τεχνικών μηχανικής μάθησης

Abstract

In this thesis, the problem of the semantic analysis of the multimedia content using machine learning techniques, and in particular the issue of detecting high-level semantic concepts in static images and video sequences, is studied. Specifically, an approach to semantic image analysis and classification is initially proposed that is based on the combination of global and local image features, making use of domain-specific prior knowledge. Subsequently, a spatial context exploitation technique is presented, which aims at improving the image analysis results that have been computed using only visual information. Additionally, an extensive comparative evaluation of the proposed method with other similar techniques of the literature is conducted. The aim of this study is the in-depth investigation of the advantages of each technique and the gain of a better insight on the use of spatial context. Moreover, a novel approach to Hidden Markov Model (HMM)-based semantic video analysis, which relies on the statistical analysis and representation of the motion signal at local level, is presented. In parallel, a variant of the proposed approach for providing motion information to HMMs is also introduced, which presents significantly reduced computational complexity, while maintaining a recognition performance similar to that of the original method. Finally, an approach to semantic video analysis is proposed for jointly performing modality fusion and temporal context exploitation.

Στα πλαίσια της παρούσας διδακτορικής διατριβής μελετάται το πρόβλημα της σημασιολογικής ανάλυσης του πολυμεσικού περιεχομένου με χρήση τεχνικών μηχανικής μάθησης, και ειδικότερα το ζήτημα της ανίχνευσης υψηλού επιπέδου σημασιολογικών εννοιών σε στατικές εικόνες και εικονοσειρές. Συγκεκριμένα, αρχικά προτείνεται μία προσέγγιση για τη σημασιολογική ανάλυση και την ταξινόμηση των εικόνων που στηρίζεται στο συνδυασμό τοπικών και καθολικών χαρακτηριστικών της εικόνας με χρήση πρότερης γνώσης για το πεδίο εφαρμογής. Στη συνέχεια, παρουσιάζεται μία μέθοδος αξιοποίησης της χωρικής πληροφορίας πλαισίου, η οποία στοχεύει στη βελτίωση των αποτελεσμάτων ανάλυσης των εικόνων που έχουν προκύψει με χρήση αποκλειστικά οπτικής πληροφορίας. Επιπρόσθετα, παρατίθεται μία εκτενής συγκριτική αξιολόγηση της προτεινόμενης μεθόδου με άλλες σύγχρονες τεχνικές της βιβλιογραφίας, η οποία έχει ως σκοπό τη σε βάθος διερεύνηση των πλεονεκτημάτων της κάθε τεχνικής και την απόκτηση μιας καλύτερης και πιο ολοκληρωμένης αντίληψης αναφορικά με την χρήση της χωρικής πληροφορίας πλαισίου. Επιπλέον, προτείνεται μια νέα προσέγγιση για την ανίχνευση σημασιολογικών κατηγοριών σε εικονοσειρές με χρήση κρυφών Μαρκοβιανών μοντέλων (Hidden Markov Models), η οποία στηρίζεται στη στατιστική επεξεργασία και την αναπαράσταση του σήματος κίνησης σε τοπικό επίπεδο. Παράλληλα, παρουσιάζεται μια παραλλαγή της προτεινόμενης προσέγγισης, η οποία έχει ως σκοπό την υπολογιστικά αποτελεσματική παροχή πληροφορίας κίνησης σε μοντέλα HMMs με ποσοστά αναγνώρισης συγκρίσιμα με αυτά της αυθεντικής μεθόδου. Τέλος, προτείνεται μία προσέγγιση για τη σημασιολογική ανάλυση των εικονοσειρών που πραγματοποιεί ταυτόχρονα τις διαδικασίες της σύντηξης της πολυτροπικής πληροφορίας και της αξιοποίησης της χρονικής πληροφορίας πλαισίου.