Αλληλεπίδραση ανθρώπου – υπολογιστή με τη χρήση ευφυών διεπαφών αναγνώρισης συναισθημάτων (affective intefaces)

Abstract

The development of future systems, capable to understand human affective states and respond to emotional changes is the key aim of Affective Computing. In this context, Automatic Affect Recognition (AAR) is a major challenge, yet at the same time, a significantly complex problem. Solutions to this problem can lead to advances in human-computer interaction, and may as well lead to improvement of the quality of life, through for e.g. automatic stress detection systems. The present thesis focuses on human computer interaction, by the means of Affectictive Interfaces. It introduces for the first time in the field of AAR, biosignal (Galvanic Skin Response - GSR and Electrocardiogram - ECG) processing techniques that are based on the theory of orthogonal Legendre and Krawtchouk moments. Moreover, novel variations of these moments are proposed, with the aim to further enhance the effectiveness of AAR systems. Furthermore, it introduces novel subject-dependent features that are extracted from GSR and ECG biosignals, which are capable to reduce between-subject variability that typically appears in these biosignals. Finally, it introduces new human behavioural features that can be extracted automatically from computer systems, with the aim of automatic stress detection. Focusing on future practical applications of AAR, the proposed methods were experimentally evaluated over their effectiveness towards the automatic recognition of boredom, frustration and stress. For this purpose, experiments were designed and conducted, with the aim to collect data during the induction of the specific affective states. The experimental evaluation showed that the proposed methods have the capability to significantly enhance the field of AAR, towards the development of future practical systems. Finally, focusing on affective Graphical User Interface (GUI) design, this thesis presents the development of a GUI for a mobile device application. Following affective design principles, the specific GUI was designed with the main aim of pleasing the end user and reducing the possibilities for negative emotions (e.g. frustration) to be induced from the interaction with it.

Βασική επιδίωξη του χώρου της συναισθηματικής υπολογιστικής (Affective Computing) είναι η ανάπτυξη ολοκληρωμένων μηχανών, ικανών αφενός να αναγνωρίζουν παραμέτρους της συναισθηματικής κατάστασης του χρήστη τους, και αφετέρου, να αναπροσαρμόζουν το πεδίο της αλληλεπίδρασης κατάλληλα. Στο πλαίσιο αυτό, η αυτόματη αναγνώριση ανθρώπινων συναισθημάτων από υπολογιστή (ΑΑΣ) αποτελεί σημαντική πρόκληση ως πολύπλοκο πρόβλημα, η επίλυση του οποίου δύναται να συμβάλει αποφασιστικά, τόσο στη βελτίωση της αλληλεπίδρασης ανθρώπου-υπολογιστή, όσο και στη βελτίωση της ποιότητας ζωής του ανθρώπου γενικότερα. Η παρούσα διατριβή εξετάζει το θέμα της αλληλεπίδρασης ανθρώπου-υπολογιστή με χρήση ευφυών διεπαφών αναγνώρισης συναισθημάτων. Στα πλαίσιά της, εισάγονται για πρώτη φορά στο χώρο της ΑΑΣ, μέθοδοι επεξεργασίας βιοσημάτων Ηλεκτροκαρδιογραφήματος και Γαλβανικής Αντίδρασης Δέρματος, που βασίζονται στη θεωρία των ορθογώνιων ροπών Legendre και Krawtchouk. Προτείνονται επίσης νέες τροποποιήσεις των εν λόγω ροπών, οι οποίες είναι σε θέση να δώσουν χαρακτηριστικά βιοσημάτων, ικανά για περαιτέρω ενίσχυση της ΑΑΣ. Ακόμη, εισάγονται νέα, εξατομικευμένα χαρακτηριστικά των παραπάνω βιοσημάτων, ικανά να αμβλύνουν τις διαφοροποιήσεις που τυπικά παρουσιάζονται στα βιοσήματα διαφορετικών ανθρώπων. Επιπρόσθετα, προτείνονται νέα χαρακτηριστικά συμπεριφοράς του ανθρώπου, τα οποία μπορούν να εξαχθούν αυτόματα από υπολογιστικά συστήματα, με στόχο την αυτόματη αναγνώριση στρες. Εστιάζοντας σε μελλοντικές πρακτικές εφαρμογές ΑΑΣ, οι προτεινόμενες μέθοδοι εξετάζονται πειραματικά ως προς την απόδοσή τους στην αυτόματη αναγνώριση συναισθηματικών καταστάσεων ανίας, εκνευρισμού και ψυχολογικού στρες. Για το σκοπό αυτό, σχεδιάστηκαν και εκτελέστηκαν στα πλαίσια της παρούσας έρευνας πειράματα, που είχαν σαν στόχο την καταγραφή των απαραίτητων δεδομένων, κατά την επαγωγή των παραπάνω συναισθημάτων. Τα πειραματικά αποτελέσματα που προέκυψαν, καταδεικνύουν ότι οι προτεινόμενες μέθοδοι έχουν τη δυνατότητα να ενισχύσουν σημαντικά το χώρο της ΑΑΣ, στην κατεύθυνση της ανάπτυξης μελλοντικών συστημάτων, ικανών να βρουν θέση στην καθημερινότητα του ανθρώπου. Τέλος, επιχειρώντας ένα ακόμη βήμα προς στην κατεύθυνση μελλοντικών, ολοκληρωμένων εφαρμογών συναισθηματικής υπολογιστικής, επιχειρείται στα πλαίσια της διατριβής η εφαρμογή αρχών του χώρου στη διαδικασία ανάπτυξης διεπαφών αλληλεπίδρασης ανθρώπου-υπολογιστή, με στόχο την ευχαρίστηση των χρηστών και την αποφυγή πρόκλησης αρνητικών συναισθημάτων κατά την αλληλεπίδραση.