A multimedia content modeling and classification methodology using visual information for the protection of sensitive user groups

Abstract

The thesis concerns the problems of visual tracking and violence detection in video sequences. For the visual tracking problem, two feature fusion frameworks are presented. The first tracking framework called 'Model Fusion via Proposal' (MFP) framework, provides a way to efficiently fuse visual cues using independent trackers to construct an improved proposal distribution for the main tracker. The fusion method results in reduced computational requirements due to the better proposal and the gradual exploitation of the state space. The 'Hierarchical Model Fusion' (HMF) framework, extends the MFP framework by integrating the multiple models into a single tracker which exploits all the visual cues. This way the robustness of the approach is further increased. The frameworks are implemented and tested in various challenging sequences and proved robust with significant reduction of the computational cost. For violence detection, a system that classifies movie segments as violent or non-violent is proposed. The system fuses audio and visual information. The audio module uses state-of-the-art methods. The visual features concern the general motion in the scene, the detection of gunshots, and the motion of the detected people. The method is tested in a dataset comprised of segments from several movies.

Η διατριβή αφορά στα προβλήματα της οπτικής παρακολούθησης και του εντοπισμού βίας σε βίντεο. Για την οπτική παρακολούθηση αναπτύχθηκαν δύο πλάισια συγκερασμού οπτικών χαρακτηριστικών. Το πρώτο πλαίσιο παρακολούθησης, που τιτλοφορείται «Πλαίσιο Συγκερασμού μοντέλων μέσω κατανομής Πρότασης» (MFP), παρέχει μία μέθοδο για να γίνει αποτελεσματικός συγκερασμός οπτικών χαρακτηριστικών μέσω ανεξάρτητων ιχνηλατών με σκοπό την κατασκευή καλύτερης κατανομής proposal για τον κυρίως ιχνηλάτη. Η μέθοδος επιτυγχάνει μείωση της υπολογιστικής πολυπλοκότητας και σταδιακή αναζήτηση στο χώρο κατάστασης. Το «Ιεραρχικό Πλαίσιο Συγκερασμού Μοντέλων» (HMF) επεκτείνει το πλαίσιο MFP ενσωματώνοντας τα μοντέλα αντικειμένων σε ένα συνολικό μοντέλο που χρησιμοποιεί όλα τα διαθέσιμα οπτικά χαρακτηριστικά. Με αυτόν τον τρόπο αυξάνεται η ευρωστία της μεθόδου. Τα πλαίσια υλοποιήθηκαν και δοκιμάστηκαν σε απαιτητικά βίντεο όπου αποδείχθηκαν εύρωστα και πέτυχαν μείωση του υπολογιστικού κόστους. Για την αναγνώριση βίας προτείνεται ένα σύστημα που ταξινομεί τμήματα βίντεο σαν βίαια ή μη. Το σύστημα χρησιμοποιεί οπτική και ακουστική πληροφορία. Το μέρος που αφορά την ακουστική πληροφορία χρησιμοποιήθηκαν σύγχρονες μέθοδοι από τη βιβλιογραφία. Τα οπτικά χαρακτηριστικά αφορούν τη γενική κίνηση στη σκηνή, την αναγνώριση των πυροβολισμών και την κίνηση των ατόμων που εντοπίζονται. Η μέθοδος δοκιμάστηκε σε ένα σετ από τμήματα διάφορων ταινιών.