Τεχνικές ψηφιακής επεξεργασίας εικόνας με εφαρμογή στην αναγνώριση προσώπου και συναισθηματικής κατάστασης

Abstract

The main field of interest of this thesis includes computational intelligence and image processing techniques in order to recognize facial expressions and achieve face verification. More specifically, the use of elastic graphs is studied thoroughly for facial expression recognition. Facial expression recognition can be greatly improved if the identity of the person posing for the facial expression is known. Moreover, a method that exploits the discriminant information in every phase of the elastic graph matching procedure, in order to achieve automatic face verification, is proposed. Every discriminant step is especially important for the face verification procedure. The presented experiments indicate that the proposed discriminant modifications greatly increase the verification performance. We also improve the performance of elastic graphs by training graph models that are person specific, using expandable graphs. The graphs that are trained have their nodes placed in discriminant facial landmarks and are dense in the facial areas that are considered to be important for face verification and sparse in the facial areas that are less important. Afterwards, inspired by the above mentioned discriminant graphs, a set of techniques for the discriminant decomposition of facial image sets is proposed, based on the Non-negative Matrix Factorization (NMF) algorithm. The discriminant NMF technique decomposes a set of facial images in basis images and appropriate weights, by introducing discriminant constraints at the cost function of the NMF decomposition. The discriminant NMF decompositions produce basis images that can be regarded as discriminant facial parts. Finally, a new family of decision functions is proposed, by modifying the Support Vector Machines functional using the discriminant Fisher criterion. The proposed Support Vector Machines are applied in facial image characterization problems, like the recognition of the neutral state.

Το γενικότερο αντικείμενο το οποίο πραγματεύεται η διδακτορική διατριβή είναι τεχνικές επεξεργασίας εικόνας και υπολογιστικής νοημοσύνης για την αναγνώριση εκφράσεων και ταυτοποίησης προσώπων. Ειδικότερα, μελετάται διεξοδικά η χρήση ελαστικών γράφων για την αναγνώριση των εκφράσεων προσώπου, Η αναγνώριση συναισθηματικής κατάστασης μπορεί να βελτιωθεί κατά πολύ αν γνωρίζουμε σε ποιον ανήκει το πρόσωπο που εκφράζει το συναίσθημα. Ακολούθως, με σκοπό να ταυτοποιήσουμε το πρόσωπο προτείνουμε μία μέθοδο αυτόματης ταυτοποίησης, στην οποία εκμεταλλευόμαστε τη διακριτική πληροφορία σε κάθε στάδιο της διαδικασίας ταιριάσματος του ελαστικού γράφου. Κάθε διακριτικό βήμα έχει τη δική του φυσική σημασία στη διαδικασία της ταυτοποίησης προσώπου. Τα παρουσιαζόμενα πειράματα δείχνουν πως οι προτεινόμενες διακριτικές τροποποιήσεις ενισχύουν σημαντικά την απόδοση της μεθόδου. Έπειτα, βελτιώνουμε παραπέρα την απόδοση των ελαστικών γράφων εκπαιδεύοντας μοντέλα γράφων, που είναι εξειδικευμένα σε κάθε πρόσωπο, με τη χρήση επεκτάσιμων γράφων. Οι γράφοι που εκπαιδεύονται έχουν τοποθετημένους τους κόμβους τους σε διακριτικά σημεία προσώπου και είναι πυκνοί σε περιοχές του προσώπου, οι οποίες θεωρούνται σημαντικές για την ταυτοποίησή του, και αραιοί σε άλλες λιγότερο σημαντικές περιοχές. Στη συνέχεια, εμπνευσμένοι από τους παραπάνω διακριτικούς γράφους, προτείνεται μία σειρά από τεχνικές για την διακριτική αποσύνθεση συνόλων εικόνων προσώπων, βασισμένη στη παραγοντοποίηση μη-αρνητικών πινάκων (ΜΠΠΠ). Η τεχνική της διακριτικής ΜΠΠΠ, αποσυνθέτει ένα σύνολο εικόνων προσώπου σε εικόνες βάσης και κατάλληλα βάρη, με την εισαγωγή διακριτικών περιορισμών στο κόστος της ΜΠΠΠ αποσύνθεσης. Οι διακριτικές ΜΠΠΠ αποσυνθέσεις δίνουν εικόνες βάσης, πολλές από τις οποίες μπορούν να αντιστοιχηθούν με διακριτικά μέρη του προσώπου. Τέλος, προτείνεται μία νέα οικογένεια επιφανειών απόφασης, τροποποιώντας το κριτήριο των μηχανών εδραίων διανυσμάτων με τη χρήση του διακριτικού κριτηρίου του Fisher. Οι καινούργιες μηχανές εδραίων διανυσμάτων εφαρμόζονται σε προβλήματα χαρακτηρισμού της εικόνας προσώπου, όπως η αναγνώριση της ουδέτερης έκφρασης.