Affective artificial intelligence in education: affect recognition and feedback in the context of a self-assessment test system

Abstract

Computerized self-assessment test systems can be an integral part of any e-learning system. Moreover, preparation tests through computerized self-assessment test systems, to help students before final exams, can be essential to any educational or learning process. Although lack of emotional recognition and emotional feedback capabilities of traditional tools of e-learning has been acknowledged as one major limitation in the recent decade, there have been no previous efforts to incorporate affective handling capabilities into self-assessment test systems. This PhD thesis is a first step towards this direction. In the context of this PhD affect recognition and affective feedback methods were developed and evaluated for use during a computerized self-assessment test. The main contributions and conclusions of this PhD are summarized in the following paragraphs: • Learners' mood models during an online self-assessment test were developed and evaluated. The proposed mood recognition models are easy to implement in a system. So far, there has been no applicable computational model for affect recognition during an online test. Moreover, the relevant results indicate that the assumptions underlying the mood recognition methods may prove useful for future research. • Additionally, affect was recognized through students' facial expressions during a self-assessment test. A self-assessment test may be a procedure involving particular facial expressions that could be misleading. For instance, the facial expression of a student who is trying to concentrate in order to answer a question could be misinterpreted as an angry emotion, while in fact the student is merely focusing on the test procedure. Cases like this were identified, so as to provide future systems with information in order to register only facial expressions triggered by relevant emotions during a computerized test. To the best of my knowledge this is the first attempt to evaluate facial expressions, as an emotional recognition source during a self-assessment test. Results indicated that facial expressions can be a reliable source of recognizing emotional states during a computerized test. Moreover, useful results concerning the emotional states experienced by students during a test were provided • In order to handle students' fear, happy, and sad emotions, empathetic Embodied Conversational Agents (ECAs), were designed and implemented. Few research studies have employed empathetic ECAs for the purpose of emotional regulation. Nevertheless, none of them tested the effect of different types of emotional facial expressions combined with different types of empathetic behaviour (parallel and reactive empathy). Results indicated that an ECA performing parallel empathy with a relevant to the student's emotion facial expression may cause this emotion to persist. Moreover, results showed that an ECA performing parallel and then reactive empathy (displaying a relevant to the student's emotion facial expression for parallel empathy and a different from the student's emotion facial expression for reactive empathy) appeared to be effective in altering an emotional state of fear to a neutral one. • The analysis of the affective feedback reward strategy developed and evaluated in this PhD, aimed at regulating students' state and trait anxiety, revealed that gender differences should be taken seriously into account when designing affective feedback strategies for a self-assessment test system. Another attempt towards affective feedback was implemented by evaluating the impact of empathetic agents as feedback to human emotions for improving brainwave activity conducively to learning, as measured by the electroencephalograph (EEG). The analysis showed that empathetic ECAs can indeed have a significant influence on alpha and beta brainwave activity, and thus improve brainwave activity towards learning. To the best of my knowledge this is the first attempt to evaluate the impact of empathetic ECAs in terms of their capacity to modulate brain rhythms in order to be beneficial to learning activities.

Η παρούσα διατριβή αναπτύσσει και αξιολογεί ένα πλαίσιο μεθοδολογιών, που βασίζονται σε θεωρίες για το ρόλο των συναισθημάτων στη μάθηση, προκειμένου να επιτυγχάνεται η συνεχής, έγκαιρη και έγκυρη, αναγνώριση της συναισθηματικής κατάστασης του χρήστη, καθώς και να παρέχεται κατάλληλα προσαρμοσμένη συναισθηματική ανατροφοδότηση στα πλαίσια ενός συστήματος ηλεκτρονικής αυτοαξιολόγησης. Στα πρώτα κεφάλαια αναπτύσσονται οι έννοιες, οι μεθοδολογίες, οι παραδοχές και οι προσεγγίσεις που αποτελούν κοινή βάση των επόμενων κεφαλαίων της διατριβής. Έπειτα παρουσιάζονται οι τεχνικές που αναπτύχθηκαν και αξιολογήθηκαν πειραματικά για την αναγνώριση της συναισθηματικής εμπειρίας του χρήστη, καθώς και οι τεχνικές που επίσης αναπτύχθηκαν και αξιολογήθηκαν πειραματικά για την παροχή κατάλληλης συναισθηματικής ανατροφοδότησης. Οι κύριες συνεισφορές της διατριβής και τα γενικά συμπεράσματα που προκύπτουν συνοψίζονται στα εξής: • Ανάπτυξη αλγοριθμικών μεθόδων για τη δυναμική διάγνωση της διάθεσης του χρήστη κατά τη διάρκεια ενός ηλεκτρονικού τεστ αυτοαξιολόγησης. Οι μέθοδοι που αναπτύχθηκαν είναι εύκολο να υλοποιηθούν σε ένα υπολογιστικό σύστημα. Μέχρι τώρα δεν είχε υπάρξει υπολογιστικό μοντέλο για τη διάγνωση της συναισθηματικής του κατάστασης του χρήστη κατά τη διάρκεια ενός ηλεκτρονικού τεστ. Επιπλέον, οι ερευνητικές υποθέσεις, στις οποίες βασίστηκε η κατασκευή αυτών των μεθόδων, μπορεί να αποδειχθούν πολύτιμες για ανάλογη μελλοντική έρευνα. • Για πρώτη φορά ερευνήθηκαν οι εκφράσεις του προσώπου του χρήστη ως πηγή αναγνώρισης συναισθημάτων, στα πλαίσια ενός συστήματος ηλεκτρονικής αυτοαξιολόγησης, και εντοπίστηκαν ιδιαιτερότητες που μπορεί να παραπλανήσουν την αναγνώριση, στα πλαίσια της συγκεκριμένης διαδικασίας. Επιπλέον, για πρώτη φορά παρέχονται δεδομένα για την ποιότητα και το είδος της συναισθηματικής εμπειρίας του χρήστη κατά τη διάρκεια ενός ηλεκτρονικού τεστ. • Αναπτύχθηκαν ενσωματωμένοι διαλογικοί πράκτορες, με συμπεριφορά ενσυναίσθησης, ικανοί να διαχειρίζονται τα συναισθήματα φόβου, λύπης, και χαράς των χρηστών, κατά τη διάρκεια ενός ηλεκτρονικού τεστ. Από τον τρόπο που σχεδιάστηκαν οι συμπεριφορές ενσυναίσθησης στους πράκτορες, προέκυψαν σημαντικά ερευνητικά πορίσματα, που θα μπορούσαν να είναι πολύτιμα στο σχεδιασμό ανάλογων μελλοντικών πρακτόρων. Μελετήθηκε η επίδραση συναισθηματικής ανατροφοδότησης, με βάση την επιβράβευση του χρήστη από το σύστημα. Τα ευρήματα που προέκυψαν έχουν μεγάλη σημασία, καθώς υποδεικνύουν ότι η έρευνα σε σχέση με τη συναισθηματική ανατροφοδότηση, θα πρέπει να λαμβάνει σοβαρά υπόψη διαφορές που προκύπτουν ως προς το φύλο των χρηστών. Αξιολογήθηκε για πρώτη φορά, με τη βοήθεια ηλεκτροεγκεφαλογράφου (ΗΕΓ), η ικανότητα ενσωματωμένων διαλογικών πρακτόρων να επιδρούν στους εγκεφαλικούς ρυθμούς του χρήστη, με τρόπο ωφέλιμο για τις μαθησιακές διαδικασίες. Τα σχετικά ερευνητικά πορίσματα, επιβεβαίωσαν ότι οι εν λόγω πράκτορες μπορούν όντως να είναι αποτελεσματικοί ως προς αυτήν την κατεύθυνση. Τα ευρήματα αυτής της μελέτης, υποδεικνύουν ότι η διαχείριση των εγκεφαλικών ρυθμών του χρήστη, ως νέο πεδίο έρευνας για την εκπαιδευτική τεχνολογία, είναι μια περιοχή που μπορεί να ερευνηθεί εκτενώς, χρησιμοποιώντας μεθοδολογίες παρόμοιες με αυτές που προτάθηκαν σε αυτήν την διατριβή.