Emotion perception and recognition in face images with applications in affective human-computer interaction systems

Abstract

Faces provide a wide range of information about a person’s identity, race, sex, age, and emotional state. In this thesis, we study the perception of facial expressions of emotion in our aim at developing a fully automated facial expression recognition system. Our studies begin with a research in the literature about the emotion perception from the scientific - psychological and medical - point of view. Based on these studies, we came up with the following assumptions: (1) a number of brain parts play a significant role in emotion perception and expression, (2) there are six ‘basic emotions’, namely: ‘anger’, ‘disgust’, ‘fear’, ‘happiness’, ‘sadness’ and ‘surprise’ and, (3) there is cultural specificity in emotion perception and expression. The latter is further strengthened by our own empirical studies conducted to humans. Specifically, we developed two different questionnaires, wherein participants were shown face images and were asked to classify the emotion. In the rest questionnaire we used images gathered from the web, while in the second questionnaire we used images of Greeks forming an expression. The difference in the success rates further demonstrates that there is cultural specificity in the ways people understand and express the emotion. Moreover, from our empirical studies, we were able to identify the emotion classes that are present during a typical human-computer interaction session, which are namely: ‘neutral’, ‘happiness’, ‘sadness’, ‘surprise’, ‘anger’, ‘disgust’ and ‘boredom-sleepiness’. Towards building our facial expression recognition system, we constructed our own face image database, which consisted of a two different sets of face images in front and side view: low quality images which were acquired by using web cameras and high quality face images which were acquired by using digital cameras of high resolution. Finally, we developed our own facial expression recognition system, which consists of two modules: (1) a face detection subsystem and, (2) a facial expression recognition subsystem. Our face detection subsystem is based on neural network-based classifiers. For our facial expression recognition subsystem, we considered neural network-based and other classifiers, but we concluded that Support Vector Machine-based Classifiers demonstrated better results. The feature extraction process, performance evaluations and test results are demonstrated and analyzed.

Η εικόνα του προσώπου παρέχει σημαντική πληροφορία σχετικά με την ταυτότητα, τη κουλτούρα, το φύλο, την ηλικία και την ψυχολογική κατάσταση ενός ατόμου. Σε αυτή τη διατριβή, μελετάται ο τρόπος αντίληψης των εκφράσεων προσώπου, με σκοπό την ανάπτυξη ενός πλήρως αυτοματοποιημένου συστήματος αναγνώρισης εκφράσεων. Αρχικά, μελετάται η υπάρχουσα επιστημονική έρευνα, στους τομείς της φυσιολογίας και της ψυχολογίας, σχετικά με το πρόβλημα της αντίληψης συναισθήματος. Αυτή η έρευνα μας οδήγησε στα εξής συμπεράσματα: (1) υπάρχουν κάποια μέρη του εγκεφάλου που παίζουν σημαντικό ρόλο στην αντίληψη και την έκφραση των συναισθημάτων, (2) υπάρχουν κάποια ‘βασικά συναισθήματα’, τα οποία είναι: ‘θυμός’, ‘αηδία’, ‘φόβος’, ‘χαρά’, ‘λύπη’, ‘έκπληξη’ και, (3) υπάρχουν διαφορές στον τρόπο που ο άνθρωπος αντιλαμβάνεται και εκφράζει τα συναισθήματα, ανάλογα με την κουλτούρα του. Το τελευταίο συμπέρασμα, ενισχύεται ακόμα περισσότερο από τις δικές μας εμπειρικές μελέτες. Σε αυτές τις μελέτες, δημιουργήσαμε δύο διαφορετικά ερωτηματολόγια, όπου επιδεικνύαμε μια εικόνα προσώπου στον συμμετέχοντα και του ζητούσαμε να επιλέξει το αντίστοιχο συναίσθημα. Για το πρώτο ερωτηματολόγιο, χρησιμοποιήσαμε εικόνες από το διαδίκτυο, ενώ στο δεύτερο ερωτηματολόγιο, επιλέξαμε εικόνες ελλήνων οι οποίοι σχηματίζουν κάποια έκφραση. Η διαφορά στα ποσοστά επιτυχίας, ενισχύει το συμπέρασμα ότι υπάρχουν διαφορές, ανάλογα με την κουλτούρα, στον τρόπο που ο άνθρωπος αντιλαμβάνεται και εκφράζει κάποιο συναίσθημα. Επίσης, από τις εμπειρικές μελέτες, μπορέσαμε να ορίσουμε τις κλάσεις συναισθημάτων που μπορεί να παρουσιαστούν κατά τη διάρκεια χρήσης του υπολογιστή. Αυτές οι κλάσεις συναισθημάτων είναι οι παρακάτω: ‘ουδέτερη’, ‘χαρά’, ‘λύπη’, ‘έκπληξη’, ‘θυμός’, ‘αηδία’ και ‘βαριεστιμάρα - νύστα’. Για την κατασκευή του συστήματος αναγνώρισης εκφράσεων, δημιουργήσαμε τις δικές μας βάσεις εικόνων, οι οποίες αποτελούνται από δύο διαφορετικές ομάδες εικόνων προσώπου σε ορθή και πλάγια όψη. Η πρώτη ομάδα αποτελείται από εικόνες χαμηλής ποιότητας, η φωτογράφιση των οποίων έγινε με δικτυακές κάμερες (web cameras). Ενώ, η δεύτερη ομάδα αποτελείται από εικόνες υψηλής ποιότητας, οι οποίες αποκτήθηκαν από ψηφιακές κάμερες υψηλής ανάλυσης. Τέλος, δημιουργήσαμε το σύστημα αναγνώρισης εκφράσεων προσώπου, το οποίο αποτελείται από δύο υποσυστήματα: (1) το υποσύστημα ανίχνευσης προσώπου και, (2) το υποσύστημα αναγνώρισης εκφράσεων προσώπου. Το υποσύστημα ανίχνευσης προσώπου χρησιμοποιεί νευρωνικά δίκτυα για την ταξινόμηση των εικόνων σε ‘πρόσωπο’ ή ‘μη - πρόσωπο’. Για το υποσύστημα αναγνώρισης εκφράσεων προσώπου, χρησιμοποιήσαμε αρχικά νευρωνικά δίκτυα, καθώς και άλλους ταξινομητές, αλλά καταλήξαμε σε ταξινομητές που βασίζονται σε Μηχανές Υποστήριξης Διανυσμάτων (Support Vector Machines-based Classifiers), οι οποίοι επέδειξαν τα καλύτερα αποτελέσματα. Επιπλέον, αναλύουμε τη διαδικασία επεξεργασίας εικόνας και εξαγωγής χαρακτηριστικών, επιδεικνύουμε αποτελέσματα και μετράμε την απόδοση των δύο υποσυστημάτων.