Εμψύχωση συνθετικών χαρακτήρων: ανάλυση συναισθήματος στην αλληλεπίδραση ανθρώπου-μηχανής

Abstract

This thesis deals with the field of Affective Computing and Human Computer Interaction. Chapter 2 presents new aspects of affective computing, namely multimodal, dynamic emotion recognition focusing on naturalistic behavior and context adaptation, while chapter 3 deals with the computational formalization of gesture expressivity features, with validation of the extraction algorithm and with the derivation of a framework for multimodal and expressive synthesis on Embodied Conversational Agents. Chapter 4 deals with aspects of human computer interaction such as alternative means of interaction, Universal Access and Assistive Technology by proposing a novel scheme for automatic gesture and sign language recognition and a sign language synthesis platform. Furthermore, gesture recognition contributes to emotion analysis both by extracting primary information concerning the emotional content that accompanies a gesture and by supporting the qualitative process of expressivity features extraction.

Η παρούσα διδακτορική διατριβή κινείται στο πλαίσιο της συναισθηματικής υπολογιστικής (affective computing) και της αλληλεπίδρασης ανθρώπου μηχανής (human computer interaction). Τα κεφάλαια 2 και 3 αφορούν στην συναισθηματική υπολογιστική και ειδικότερα: α) στην αναγνώριση δυναμικών συναισθηματικών καταστάσεων από πολλαπλές μορφές πληροφορίας κατά την φυσική επικοινωνία ανθρώπου μηχανής αλλά και στην διαδικασία εντοπισμού και προσαρμογής σε δυναμικές συνθήκες και αλλαγές του εννοιολογικού πλαισίου της αλληλεπίδρασης και β) στην τυποποίηση εκφραστικώνπαραμέτρων χειρονομιών κατά την συναισθηματικά εμπλουτισμένη αλληλεπίδραση και στην αξιολόγηση της τυποποίησης αυτής μέσω εικονικών χαρακτήρων από ανθρώπινους χρήστες. Το κεφάλαιο 4 αναφέρεται στην αναγνώριση χειρονομιών ως μέσο αλληλεπίδρασης εναλλακτικό των καθιερωμένων, αλλά και στην αναγνώριση και σύνθεση νοηματικής γλώσσας (ενότητες 4.2 και 4.3 αντίστοιχα) συνεισφέροντας στις έννοιες της καθολικής πρόσβασης (universal access) και υποστηρικτικής τεχνολογίας (assistive technology). Η αναγνώριση χειρονομιών αφορά και στην συναισθηματική υπολογιστική εξάγοντας πληροφορίες σχετικά με την έννοια και το συναισθηματικό περιεχόμενο κάποιας χειρονομίας αλλά και υποβοηθώντας την εξαγωγή ποιοτικών, συναισθηματικών εκφραστικών παραμέτρων.