Using psychophysiological measures to assess learners’ cognitive and affective states in a theory-based gamified MOOC

Abstract

Current literature on Massive Open Online Courses (MOOCs) focuses on adopting gamification to address the high dropout rates targeting on enhancing learners’ engagement. Recent reviews suggest to go beyond a simple application of game elements and use theory-driven gamification designs for learning scenarios in MOOCs. The present thesis emphasized on the importance of designing gamified learning assessment activities for MOOCs that create smooth learning curves for learners and evaluated their effectiveness by using psychophysiological measures. Our goal was to investigate whether the integration of the game element progression, could affect the learners’ cognitive and affective states. The design of the gamified activity was based on Goal-setting Theory and the revised Bloom’s Taxonomy. To evaluate the effectiveness of the proposed intervention, we conducted an empirical study, on Coursity MOOC platform, with a sample of 58 participants 19 to 46 years old. We used the technique of electroencephalography (EEG) to objectively evaluate the participants’ cognitive and affective state by extracting a set of EEG spectral features. Specifically, we calculated the absolute and relative power values in four frequency bands of EEG signal i.e., theta (θ), alpha (α), beta (β), low beta (low_β), and their ratios i.e., task engagement β/(α+θ), attention ratio θ/low_β, workload θ/α, arousal β/α, and valence αF4/βF4 – αF3/βF3. We also used a questionnaire to study the participants’ perceived engagement. Our results showed that the proposed gamified intervention did not have a significant impact on learners’ cognitive and affective states. Also, arousal was significantly increased in the task condition for both groups as compared to the baseline values. A significant increase was found in participants’ workload for the experimental group between the two conditions. Results regarding the participants’ perceived engagement showed no statistically significant differences between the two groups, which confirms the results from the neural data. This study contributes in the field of theory-based gamification design using the goal-setting theory as theoretical framework as it has not exploited in the field of MOOCs. The study provides psychophysiological measures for the evaluation of gamification in a MOOC assessment activity and discusses the potential value of these measures. Finally, we argue that electroencephalography has the potential to inform MOOC designers to design more engaging courses leading to lower dropout rates.

Η τρέχουσα βιβλιογραφία για τα Μαζικά Ανοικτά Διαδικτυακά Μαθήματα (Massive Open Online Courses-MOOCs) εστιάζει στην υιοθέτηση τεχνικών παιχνιδοποίησης (gamification) για την αντιμετώπιση του υψηλού ποσοστού εκπαιδευόμενων που εγκαταλείπουν το μάθημα πριν αυτό ολοκληρωθεί (dropout). Η χρήση της παιχνιδοποίησης, στο πλαίσιο των MOOCs, στοχεύει κυρίως στην ενίσχυση της εμπλοκής (engagement) των εκπαιδευόμενων στο μάθημα. Σε αυτήν την κατεύθυνση, τα αποτελέσματα πρόσφατων βιβλιογραφικών επισκοπήσεων αναδεικνύουν την ανάγκη να προχωρήσουμε πέρα από την απλή εφαρμογή στοιχείων παιχνιδιού στα ψηφιακά εκπαιδευτικά περιβάλλοντα και να ακολουθήσουμε θεωρίες σχεδίασης κινήτρων για τη σχεδίαση μιας αποτελεσματικής παιχνιδοποίησης. Η παρούσα διατριβή εστιάζει στη σχεδίαση παιχνιδοποιημένων δραστηριοτήτων για MOOCs οι οποίες δημιουργούν ομαλές καμπύλες μάθησης για τους εκπαιδευόμενους. Επιπλέον, αξιολογείται η επίδρασή της προτεινόμενης σχεδίασης με τη χρήση ψυχοφυσιολογικών μετρήσεων. Η διατριβή εξετάζει αν η σχεδίαση και ενσωμάτωση ενός στοιχείου των παιχνιδιών και συγκεκριμένα του στοιχείου της εξέλιξης (player’s progression) μπορεί να επηρεάσει τη γνωστική και συναισθηματική κατάσταση των εκπαιδευόμενων σε ένα MOOC. Η σχεδίαση της παιχνιδοποιημένης δραστηριότητας που αναπτύχθηκε στο πλαίσιο της παρούσας διατριβής, βασίστηκε στη θεωρία goal-setting και στην αναθεωρημένη ταξινομία του Bloom. Για την εκτίμηση της αποτελεσματικότητας της προτεινόμενης παρέμβασης, διεξήχθη εμπειρική μελέτη στην πλατφόρμα Coursity με δείγμα πενήντα οκτώ (58) συμμετέχοντες, ηλικίας 19 έως 46 ετών. Χρησιμοποιήθηκε η τεχνική της ηλεκτροεγκεφαλογραφίας (ΗΕΓ) για την αντικειμενική αξιολόγηση της γνωστικής και συναισθηματικής κατάστασης των συμμετεχόντων, εξάγοντας ένα σύνολο από φασματικά χαρακτηριστικά. Συγκεκριμένα, καταγράφθηκε η εγκεφαλική δραστηριότητα των συμμετεχόντων σε δύο διαφορετικές συνθήκες, κατάσταση ηρεμίας-αναφοράς (baseline condition) και κατάσταση έργου (task condition). Υπολογίστηκαν οι απόλυτες και σχετικές τιμές ισχύος σε τέσσερις φασματικές περιοχές του ΗΕΓ σήματος, θήτα (θ), άλφα (α), βήτα (β), low βήτα (low βeta). Επίσης, υπολογίστηκαν λόγοι αυτών των τιμών, όπως η εμπλοκή σε ένα έργο (task engagement) με βάση τον τύπο β/(α+θ), ο λόγος θ/low_β που σχετίζεται με τον έλεγχο προσοχής (attention ratio), ο γνωστικός φόρτος (workload) ως θ/α, η συναισθηματική διέγερση ως (arousal) β/α και το συναισθηματικό σθένος (valence) ως αF4/βF4 – αF3/βF3. Επιπρόσθετα, χορηγήθηκε στους συμμετέχοντες ένα ερωτηματολόγιο ώστε να γίνει αξιολόγηση της αντιληπτής εμπλοκής των συμμετεχόντων (perceived engagement) στη δραστηριότητα. Τα αποτελέσματα της παρούσας διατριβής έδειξαν ότι η προτεινόμενη παρέμβαση παιχνιδοποίησης δεν είχε στατιστικά σημαντική επίδραση στη γνωστική και συναισθηματική κατάσταση των συμμετεχόντων. Επιπλέον, η συναισθηματική διέγερση (arousal) των συμμετεχόντων αυξήθηκε σημαντικά κατά τη διάρκεια της δραστηριότητας (task condition) και για τις δύο πειραματικές ομάδες συγκρινόμενη με τις τιμές του διαστήματος αναφοράς (baseline condition). Ο γνωστικός φόρτος των συμμετεχόντων της πειραματικής ομάδας αυξήθηκε σημαντικά μεταξύ των δύο συνθηκών. Τα αποτελέσματα αναφορικά με την αντιληπτή εμπλοκή των συμμετεχόντων έδειξαν ότι δεν υπάρχει στατιστικά σημαντική διαφορά μεταξύ των δύο ομάδων, κάτι το οποίο επιβεβαιώνουν και τα αποτελέσματα από τα νευρολογικά δεδομένα. Η παρούσα έρευνα συνεισφέρει στο πεδίο της σχεδίασης της παιχνιδοποιημένων δραστηριοτήτων για MOOCs οι οποίες βασίζονται σε θεωρίες σχεδίασης κινήτρων καθώς χρησιμοποιεί την θεωρία goal-setting ως θεωρητικό πλαίσιο. Η συγκεκριμένη θεωρία δεν έχει αξιοποιηθεί μέχρι στιγμής στο πεδίο των MOOCs. Η έρευνα παρουσιάζει ψυχοφυσιολογικές μετρήσεις για την αξιολόγηση της παιχνιδοποιημένης μαθησιακής δραστηριότητας ενός MOOC και συμπεραίνει αναφορικά με τη δυνητική συνεισφορά αυτών στη σχεδίαση της παιχνιδοποίησης. Τέλος, η παρούσα έρευνα υποστηρίζει ότι η εγκεφαλογραφία έχει τη δυνατότητα να ενημερώνει τους σχεδιαστές των MOOCs για τη σχεδίαση περισσότερο ελκυστικών μαθημάτων το οποίο μπορεί να βοηθήσει στη μείωση του ποσοστού εγκατάλειψης στα MOOCs.