Ανάλυση δεδομένων κίνησης σκελετού και λοιπών τρισδιάστατων δεδομένων

Abstract

In this dissertation, the results of research conducted in the area of 3D skeleton motion data (also known as motion capture data) analysis are presented. Research on data that contain (directly on indirectly) a 3D dimension is also presented (depth video, stereoscopic video).In more detail, research was focused in the field of motion recognition and identity recognition on motion capture data and depth video data and in the field of speaker diarization on audio data and stereoscopic video. An attempt to analyse videos from Greek traditional dances in order to perform dance recognition is also presented.The basic contributions of the presented dissertation is a method of motion recognition and identity recognition on motion capture data and a motion recognition method on multimodal data. The results of the aforementioned methods are very high and the results are amongst the highest of the state-of-the-art. One more contribution is a multimodal speaker diarization method that opearates on full feature movies. Finally, the presented dissertation propose a mixture of different features for the recognition of Greek traditional dances.In the field of motion recognition, the forward differences were proposed as features that can represent the motion capture data. A voting scheme for BoW and VLAD frameworks is also proposed. In the field of multimodal speaker diarization, features that combine information from audio and video data were proposed, while the best features proposed in classic video action recognition were used as input in a BoW framework for the recognition of Greek traditional dances in order to assess their performance in this field. The fusion of the aforementioned features is proposed in order to increase the recognition rates.

Σε αυτή τη διδακτορική διατριβή, παρουσιάζονται τα αποτελέσματα της έρευνας που διεξήχθη στην περιοχή της μελέτης και της ανάλυσης τρισδιάστατων δεδομένων κίνησης σκελετού (γνωστά επίσης και ως δεδομένα καταγραφής κίνησης) αλλά και άλλων δεδομένων που περιέχουν άμεσα ή έμμεσα την τρίτη διάσταση (εικονοσειρές βάθους, στερεοσκοπικές εικονοσειρές). Πιο συγκεκριμένα, η έρευνα επικεντρώθηκε στους τομείς της αναγνώρισης κίνησης και της αναγνώρισης ταυτότητας ανθρώπου σε δεδομένα καταγραφής κίνησης και δεδομένα εικονοσειρών βάθους, καθώς και στην ομαδοποίηση (clustering/diarization) ομιλητών, σε δεδομένα ήχου και στερεοσκοπικών εικονοσειρών. Επίσης, έγινε και προσπάθεια ανάλυσης εικονοσειρών ελληνικών παραδοσιακών χορών με σκοπό την αναγνώρισή τους.Οι βασικές συνεισφορές της παρούσας διατριβής είναι μία μέθοδος αναγνώρισης κίνησης αλλά και αναγνώρισης ταυτότητας σε δεδομένα καταγραφής κίνησης καθώς και μία μέθοδος αναγνώρισης κίνησης σε πολυτροπικά δεδομένα. Οι επιδόσεις των παραπάνω μεθόδων είναι ιδιαίτερα υψηλές και πιο συγκεκριμένα από τις υψηλότερες στους τομείς τους. Μία ακόμη συνεισφορά της παρούσας διατριβής είναι μία μέθοδος που επιτελεί τμηματοποίηση και ομαδοποίηση ομιλητών σε στερεοσκοπικές κινηματογραφικές ταινίες. Τέλος, η παρούσα διατριβή εξετάζει και προτείνει την μίξη διαφορετικών χαρακτηριστικών για την αναγνώριση παραδοσιακών χορών σε εικονοσειρές. Στον τομέα της αναγνώρισης κίνησης προτάθηκαν οι εμπρόσθιες διαφορές σαν χαρακτηριστικά που μπορούν να αναπαραστήσουν τα δεδομένα καταγραφής κίνησης καθώς και ένα σχήμα ψηφοφορίας στα πλαίσια του αλγορίθμου Bag of Words (BoW) και Vector of Locally Aggregated Descriptors (VLAD). Στον τομέα της ομαδοποίησης ομιλητών προτάθηκαν μέθοδοι και χαρακτηριστικά που επιτρέπουν τον συνδυασμό ακουστικής και οπτικής πληροφορίας, ενώ στην αναγνώριση παραδοσιακών χορών έγινε έλεγχος της απόδοσης χαρακτηριστικών που έχουν προταθεί στην κλασσική αναγνώριση κινήσεων ενώ επίσης προτάθηκε και η συνένωσή τους για την βελτίωση των αποτελεσμάτων.