Μη-λεκτική επικοινωνία ανθρώπου-μηχανής: αναγνώριση εκφράσεων του προσώπου

Abstract

Facial expression recognition is the research topic of this PhD thesis. The aim of this thesis was firstly to create an appropriate facial expression database for the development and the statistical evaluation of facial expression recognition systems, and secondly to develop facial expression recognition methods. In the context of this thesis, the MUG facial expression database was created. The database consists of sequences of posed expressions (six basic expressions) and sequences of induced expressions. The MUG database is the first database where the same subjects perform the expressions deliberately and spontaneously. Another advantage is that it can be used in subject-independent and in subject-dependent experiments, since it includes more than one sequence per expression for each subject. Regarding the development of facial expression recognition methods, this thesis presents two methods. Both methods are based on the same features, the expression vectors. The structure of the feature space is examined. The two approaches that recognize the six basic expressions, were developed based on this structure. The first one assumes that expression vectors that correspond to the same expression live in a manifold and that this manifold can be parameterized by a small number of low-dimensional subspaces. This method is simple and fast, since it uses low-dimensional feature vectors, linear approximations and limited number of low-dimensional subspaces. The method is tested on the MUG database and on the commonly used Cohn-Kanade database, achieving greater accuracy than other recently published methods. The second proposed method assumes that all expression vectors live in a manifold. It parameterizes this manifold using a non-orthogonal sparse representation basis, that is calculated by Independent Component Analysis. The efficiency of this method is tested using four classifiers on both databases (MUG, Cohn-Kanade) in three experimental scenarios. The results indicate that the use of expression vectors in an ICA-based method improves performance compared to the use of image texture. This improvement makes the proposed method outperform or compete other state-of-the-art methods.

Η αναγνώριση εκφράσεων του προσώπου αποτελεί το ερευνητικό αντικείμενο της παρούσας διατριβής. Οι στόχοι της διατριβής ήταν πρώτον η δημιουργία μιας βάσης εκφράσεων προσώπων που να αποτελεί εργαλείο για την ανάπτυξη και αξιολόγηση των αλγορίθμων αναγνώρισης εκφράσεων, και δεύτερον η ανάπτυξη μεθόδων αναγνώρισης εκφράσεων. Στα πλαίσια της διατριβής δημιουργήθηκε η βάση εκφράσεων προσώπων MUG, η οποία περιλαμβάνει ακολουθίες εικόνων όπου πραγματοποιούνται επιτηδευμένα οι έξι βασικές εκφράσεις, αλλά και ακολουθίες εικόνων όπου πραγματοποιούνται από τα ίδια άτομα αυθόρμητες εκφράσεις. Η βάση MUG είναι η πρώτη βάση που συμπεριλαμβάνει δύο τρόπους πραγματοποίησης εκφράσεων από τα ίδια άτομα και για σχετικά μεγάλο αριθμό ατόμων. Επίσης, μπορεί να χρησιμοποιηθεί για την ανάπτυξη και αξιολόγηση συστημάτων αναγνώρισης εκφράσεων σε πειράματα που δεν εξαρτώνται αλλά και που εξαρτώνται από την ταυτότητα των ατόμων, επειδή περιλαμβάνει αρκετές ακολουθίες ανά έκφραση για κάθε άτομο. Όσο αφορά στην ανάπτυξη συστημάτων αναγνώρισης εκφράσεων, η παρούσα διατριβή παρουσιάζει δύο μεθόδους. Οι δύο μέθοδοι βασίζονται στα ίδια χαρακτηριστικά διανύσματα, τα διανύσματα έκφρασης. Μελετήθηκε σε βάθος η δομή του χώρου των διανυσμάτων έκφρασης και βάση της δομής αυτής αναπτύχθηκαν οι δύο μέθοδοι αναγνώρισης των έξι βασικών εκφράσεων. Η πρώτη μέθοδος θεωρεί ότι τα διανύσματα έκφρασης που αντιστοιχούν σε μια έκφραση ανήκουν σε ένα manifold και ότι το manifold κάθε έκφρασης μπορεί να μοντελοποιηθεί με την ένωση μερικών γραμμικών υπόχωρων μικρής διάστασης. Η μέθοδος έχει το πλεονέκτημα ότι είναι απλή και γρήγορη, αφού χρησιμοποιεί χαρακτηριστικά διανύσματα σχετικά μικρής διάστασης, γραμμικές προσεγγίσεις και περιορισμένο αριθμό υπόχωρων μικρής διάστασης. Η μέθοδος δοκιμάστηκε στη βάση εκφράσεων MUG, αλλά και στη συχνά χρησιμοποιούμενη βάση εκφράσεων των Cohn-Kanade όπου είχε καλύτερη απόδοση από πρόσφατα δημοσιευμένες μεθόδους. Η δεύτερη προτεινόμενη μέθοδος θεωρεί ότι όλα τα διανύσματα έκφρασης ανήκουν σε ένα manifold. Παραμετροποιεί το manifold αυτό χρησιμοποιώντας μια μη ορθογώνια βάση αραιής αναπαράστασης, η οποία υπολογίζεται με Ανάλυση Ανεξάρτητων Συνιστωσών. Η απόδοση της μεθόδου με τέσσερις διαφορετικούς ταξινομητές δοκιμάζεται διεξοδικά με τις δύο βάσεις εκφράσεων (MUG και Cohn-Kanade) σε τρία πειραματικά σενάρια. Αποδεικνύεται ότι με τη χρήση των διανυσμάτων έκφρασης ένα σύστημα που βασίζεται στην Ανάλυση Ανεξάρτητων Συνιστωσών αποδίδει πολύ καλύτερα από το αν χρησιμοποιηθεί το texture του προσώπου. Η βελτίωση της απόδοσης είναι τέτοια ώστε η προτεινόμενη μέθοδος να είναι ανταγωνιστική των άλλων μεθόδων state-of-the-art