A computational model to embed emotion awareness into e-learning environments

Abstract

Emotions are present in any form of learning and social interaction. The realistic use of the emerging educational technologies has drawn attention to the consideration of emotions in learning environments. Towards this direction, Affective Computing is offering remarkable system implementations that detect and recognise students’ emotional states with high accuracy using machine learning algorithms, and provide feedback aiming at both students’ cognitive performance and their emotional regulation. However, these technologies often employ expensive sensors and complex computer intelligence that require special expertise or extra resources, while they introduce obtrusiveness and invasiveness in the learning process. Moreover, research on emotions in e-learning is still rather limited while the enrichment of learning environments with emotion awareness capabilities it is still in its infancy. There is still a need for more realistic, in-context studies to investigate successful affective learning sequences that propel students’ self-motivation and engagement. The main objective of this thesis is to investigate the importance of emotion awareness in e-learning environments. To this end, a conceptual model has been developed, including affective states and moods of interest that usually appear in e-learning settings with emphasis in Computer Supported Collaborative Learning (CSCL) scenarios. In the basis of this model, a computational model has been implemented consisting of a usable, expressive and effective multimedia interface for students to report their affective state and an affective virtual agent, employed with expressive faces to provide affective and task-based feedback in response to the students’ reported emotions. The integration was also enhanced with effective visualisations of students’ individual and group affective states. Both models have been tested in real education settings by conducting experiments with university students in Virtual Learning Environments. A qualitative and quantitative analysis of the results suggests 12 final affective states and 5 moods of interest in e-learning environments, raising, however, a speculation considering the adequacy and the potential of verbal or pictorial labels, to express the respondent’s exact feelings. Patterns of affective sequences have been also identified, which that can be exploited by computer intelligence to provide effective emotional scaffolds. With respect to self-reporting of emotions, it was found that students are willing to participate and express their affective state, once a tool provides an easy and usable way for them to do it, improving in that way their engagement. In response to their emotions’ sharing, students need to see an adaptation from the system immediately or after a very short period of time. The provision of affective feedback, enriched with task-oriented scaffolds, can improve student cognitive performance and emotion regulation, at least when it is human guided. Group emotion awareness also appears to improve social interaction.

Τα συναισθήματα υπάρχουν σε κάθε μορφή μάθησης και εκπαίδευσης. Ως προς αυτή την κατεύθυνση, η Συναισθηματική Υπολογιστική έχει να επιδείξει αξιόλογα συστήματα που μπορούν και ανιχνεύουν και αναγνωρίζουν τη συναισθηματική κατάσταση του χρήστη με υψηλή ακρίβεια, και επιπλέον παρέχουν ανατροφοδότηση τόσο γνωστική όσο και συναισθηματική. Ωστόσο, η διερεύνηση των συναισθημάτων και ιδιαίτερα σε περιβάλλοντα ηλεκτρονικής μάθησης είναι περιορισμένη, ενώ ο ευρύτερος εμπλουτισμός των εκπαιδευτικών τεχνολογιών με μηχανισμούς συναισθηματικής ευαισθητοποίησης είναι μάλλον ανύπαρκτος. Ένας κύριος λόγος είναι ότι αυτές οι τεχνολογίες συχνά συνοδεύονται από υψηλές απαιτήσεις τόσο σε εξοπλισμό, όσο και σε τεχνογνωσία, δυσκολεύοντας την προσαρμογή τους στην εκπαιδευτική πραγματικότητα. Η παρούσα διατριβή εξετάζει τη σημασία και την αναγκαιότητα ενσωμάτωσης μηχανισμών συναισθηματικής ευαισθητοποίησης σε περιβάλλοντα η-μάθησης, η οποία λαμβάνει υπόψη τις πραγματικές εκπαιδευτικές συνθήκες. Η συναισθηματική ευαισθητοποίηση ορίζεται από την εκτίμηση και αξιολόγηση της συναισθηματικής κατάστασης του χρήστη και την αντίστοιχη συναισθηματική ανάδραση από το σύστημα. Ως προς αυτό το σκοπό, αναπτύχθηκε και αξιολογήθηκε ένα εννοιολογικό μοντέλο το οποίο εμπεριέχει συναισθηματικές καταστάσεις που συνήθως εμφανίζονται σε περιβάλλοντα η-μάθησης, με ιδιαίτερη έμφαση τις ομαδο-συνεργατικές δραστηριότητες και εργασίες. Βάσει του εννοιολογικού μοντέλου, υλοποιήθηκε ένα υπολογιστικό μοντέλο το οποίο παρέχει στους μαθητές μία εύχρηστη και εκφραστική πολυμεσική διεπαφή αυτό-αναφοράς της συναισθηματική τους κατάστασης, η οποία να μπορεί να χρησιμοποιείται παράλληλα με την εργασία τους. Για τη συναισθηματική και γνωστική ανατροφοδότηση των μαθητών, υλοποιήθηκε ένας συναισθηματικός εικονικός βοηθός, ο οποίος παρέχει γνωστικά βοηθήματα, επιστρατεύοντας συναισθηματικές εκφράσεις προσώπου. Επιπρόσθετα, το σύστημα παρέχει στους συμμετέχοντες χρήσιμες οπτικοποιήσεις των συναισθημάτων, τόσο των ίδιων, όσο και των ομάδων τους. Τα προτεινόμενα μοντέλα εξετάστηκαν και αξιολογήθηκαν σε πραγματικές εκπαιδευτικές συνθήκες, από φοιτητές του Πανεπιστημίου Αιγαίου και του Ανοικτού Πανεπιστημίου της Βαρκελώνης. Σύμφωνα με την ποσοτική και ποιοτική ανάλυση των αποτελεσμάτων, επιβεβαιώνεται η σημασία και η ανάγκη ενσωμάτωσης μηχανισμών συναισθηματικής ευαισθητοποίησης στα μαθησιακά περιβάλλοντα. Ωστόσο, αν και η συλλογή των συναισθημάτων μέσω των εργαλείων αυτο-αναφοράς είχε σημαντικό αντίκτυπο, η δυσκολία του συστήματος να παρέχει αυτόματα αποτελεσματική συναισθηματική ανατροφοδότηση, αποτελεί μάλλον το «αγκάθι» της καταγραφής των συναισθημάτων των μαθητών. Τα κύρια συμπεράσματά μας συνοψίζονται στην ακόλουθη παράγραφο: Οι μαθητές είναι πρόθυμοι να συμμετάσχουν και να εκφράσουν τη συναισθηματική τους κατάσταση, εφόσον κάποιο εργαλείο τους παρέχει έναν εύκολο και εύχρηστο τρόπο για να το κάνουν, ενδυναμώνοντας με αυτόν τον τρόπο τη συμμετοχικότητά τους. Ωστόσο, σε απόκριση αυτής της συναισθηματικής τους καταγραφής, έχουν ανάγκη να δουν μία ανάδραση από το σύστημα, μία προσαρμογή του στο πως νιώθουν, άμεσα ή σχεδόν άμεσα. Όταν αυτή η συναισθηματική ανατροφοδότηση είναι και εμπλουτισμένη με γνωστικές υποδείξεις, μπορεί να βελτιώσει τόσο τη γνωστική τους απόδοση, όσο και τη διάθεσή τους, τουλάχιστον όταν καθοδηγείται από τον ανθρώπινο παράγοντα. Τέλος, η ανταλλαγή συναισθηματικών πληροφοριών μεταξύ των μελών της ομάδας φαίνεται να βελτιώνει την κοινωνική τους αλληλεπίδραση.