Επικοινωνία ανθρώπου-υπολογιστή βασισμένη σε ανάλυση και σύνθεση οπτικών πληροφοριών

Abstract

This thesis sets out to investigate state of the art research issues on affective computing in human computer interaction. It explores methods to computationally model human non-verbal expressivity both in the process of emotion recognition as well as in the process of synthesising human behaviour. An extensive literature review of emotion theories leads to special focus on appraisal theory predictions regarding the emotion elicitation process. Theoretical predictions from Scherer's component process model and the OCC theory by Ortony, Clore and Collins are tested through their computational implementation. Issues of representing affective states are examined and special focus is given on high level multimodal fusion. An alternative way of attaining ground truth data is put forward through a user judgement experiment on human expressivity. The collected results are used as input in a neurofuzzy network in order to map expressivity parameters onto the dimensions of activation and evaluation. Finally issues of affective interaction are studied. Interface adaptation methods are investigated through the implementation of virtual environments that cater various interaction scenarios such as an exertion interface and a first person perspective game in a virtual world.

Το αντικείμενο έρευνας της διατριβής αυτής είναι υπολογιστική μοντελοποίηση χαρακτηριστικών της ανθρώπινης μη λεκτικής συμπεριφοράς και η αξιοποίηση των αποτελεσμάτων στην επικοινωνία ανθρώπου-μηχανής. Η μοντελοποίηση πραγματοποιήθηκε σε δύο επίπεδα, αυτό της υπολογιστικής μοντελοποίησης θεωρητικών προβλέψεων για τη σωματική εκφραστικότητα κατά τη συναισθηματική εμπειρία και αυτό της ανάλυσης οπτικής πληροφορίας με έμφαση στους τρόπους αναπαράστασης των μορφωμάτων που αναγνωρίζονται και στην μεταξύ τους αντιστοίχιση. Προτάθηκε ένας εναλλακτικός τρόπος προσκόμισης δεδομένων αναφοράς για την εκφραστικότητα χειρονομιών, προκειμένου να ξεπεραστεί το σύνηθες πρόβλημα της διαφωνίας ανάμεσα σε λίγους επισημειωτές δεδομένων. Σχεδιάστηκε και υλοποιήθηκε πειραματική διαδικασία καταγραφής της αντίληψης της ανθρώπινης εκφραστικότητας από μεγάλο πλήθος επισημειωτών. Τα αποτελέσματα του πειράματος χρησιμοποιήθηκαν για την αντιστοίχιση των παραμέτρων εκφραστικότητας με τις διαστάσεις της ενεργοποίησης και της αξιολόγησης. Τα θεωρητικά αποτελέσματα της μελέτης επαληθεύθηκαν με την ανάπτυξη εικονικών περιβαλλόντων και τη μελέτη ζητημάτων συναισθηματικής υπολογιστικής σε πραγματικές συνθήκες αλληλεπίδρασης.