Smart CAT: machine learning for configurable assessments in serious games

Abstract

Serious games being at the forefront of digital education provide new opportunities for active learning and can effectively support the development of complex competencies that are considered to be critical for the people of the 21st century. Nonetheless, assessing such competencies with standard tests (e.g. multiple choice questionnaires) is a hard, if not impossible, task. Therefore, developing new assessment tools that hold educational value and rely on principled methodologies is of great importance. In this thesis, we utilize a data-driven assessment methodology called Stealth Assessment (SA) and develop an assessment software tool based on it for serious games. SA is an assessment methodology that uses (a) Evidence Centered Design to allow the configuration of assessments on different competence structures and (b) Machine Learning technology to produce inferences regarding the learners’ mastery levels on respective competencies. Despite SA being a proven methodology, its application is still complex, laborious and time-consuming. To address this issue, this thesis presents a framework for the development and implementation of a software tool, called Smart CAT (Smart Configurable Assessment Tool), which lowers the barriers of using SA and accommodates its wider application. Smart CAT allows for the flexible arrangement of data-driven assessment through its software wizard (which is enhanced by a respective GUI) and automatically executes ML-related functions in its back-end subsystem. Smart CAT was examined for its robustness using a simulation approach and it was found that it was able to effectively cope with a set of different test conditions. Also, when tested for empirical validity with real-world data from two separate serious games, Smart CAT was found to be able to provide accurate and valid assessments, given reliable input materials (data and statistical model). In addition, when examined for its overall usability, Smart CAT’s was found to be useful, easy to use, easy to learn, and satisfactory for its end-users. The outcomes of this thesis show that Smart CATeffectively mitigates the arrangement of SA, and that it can already be applied in education and research. However, future work is needed to upgrade its functionality and usability to turn it into a full-fledged market-ready product. To sum up, this thesis provides a novel perspective on data-driven assessments in serious games and contributes substantially to their practicability by combining educational methods and practices with cut-edging technology. Thereby, it adds to furthering the educational value of serious games and therefore promoting the use of serious games in mainstream education.

Τα εκπαιδευτικά παιχνίδια βρίσκονται στην πρώτη γραμμή της ψηφιακής εκπαίδευσης καθώς παρέχουν νέες ευκαιρίες για ενεργητική μάθηση και μπορούν να υποστηρίξουν αποτελεσματικά την ανάπτυξη σύνθετων ικανοτήτων που θεωρούνται κρίσιμες για τους ανθρώπους του 21ου αιώνα. Ωστόσο, η αξιολόγηση αυτών των ικανοτήτων με τυποποιημένα τεστ (π.χ. ερωτηματολόγια πολλαπλών επιλογών) είναι μια δύσκολη, αν όχι αδύνατη, εργασία. Συνεπώς, έχει μεγάλη σημασία η ανάπτυξη νέων εργαλείων αξιολόγησης που βασίζονται σε εκπαιδευτικές μεθοδολογίες αξιολόγησης. Σε αυτή τη διατριβή, χρησιμοποιούμε μια μεθοδολογία αξιολόγησης που ονομάζεται Stealth Assessment (SA) και αναπτύσσουμε ένα λογισμικό αξιολόγησης για εκπαιδευτικά παιχνίδια. Η SA είναι μια μεθοδολογία αξιολόγησης που χρησιμοποιεί (α) σχεδιασμό που βασίζεται σε στατιστικά μοντέλα που επιτρέπουν τη διαμόρφωση αξιολογήσεων σε διαφορετικές δομές ικανότητας και (β) τεχνολογία τεχνητής νοημοσύνης για την παραγωγή συμπερασμάτων σχετικά με τα επίπεδα γνώσης των μαθητών σε αντίστοιχες ικανότητες. Παρά το γεγονός ότι η SA αποτελεί αποδεδειγμένη μεθοδολογία, η εφαρμογή της είναι ακόμη πολύπλοκη, επίπονη και χρονοβόρα. Για την αντιμετώπιση αυτού του προβλήματος, αυτή η εργασία παρουσιάζει ένα πλαίσιο για την ανάπτυξη και εφαρμογή ενός λογισμικού που ονομάζεται Smart CAT (Smart Configurable Assessment Tool), το οποίο μειώνει τα εμπόδια της χρήσης της SA και διευκολύνει την ευρύτερη εφαρμογή της. Το Smart CAT επιτρέπει την ευέλικτη ρύθμιση της αξιολόγησης με βάση τα δεδομένα μέσω του οδηγού του λογισμικού (ο οποίος βελτιώνεται από αντίστοιχο GUI) και εκτελεί αυτόματα λειτουργίες τεχνητής νοημοσύνης στο back-end υποσύστημα του. Το Smart CAT εξετάστηκε για την ευρωστία του χρησιμοποιώντας μια προσέγγιση προσομοίωσης και διαπιστώθηκε ότι ήταν σε θέση να αντιμετωπίσει αποτελεσματικά ένα σύνολο διαφορετικών συνθηκών δοκιμής. Επίσης, όταν δοκιμάστηκε για εμπειρική εγκυρότητα με δεδομένα πραγματικού κόσμου από δύο ξεχωριστά σοβαρά παιχνίδια, βρέθηκε ότι η Smart CAT ήταν σε θέση να παρέχει ακριβείς και έγκυρες αξιολογήσεις, λαμβάνοντας υπόψη αξιόπιστα υλικά εισόδου (δεδομένα και στατιστικό μοντέλο). Επιπλέον, όταν εξετάστηκε για τη συνολική χρηστικότητα του, το Smart CAT βρέθηκε χρήσιμο, εύκολο στη χρήση, εύκολο στην εκμάθηση και ικανοποιητικό για τους τελικούς χρήστες του. Τα αποτελέσματα αυτής της εργασίας δείχνουν ότι το Smart CAT επιτρέπει αποτελεσματικά τη εφαρμογή της SA και μπορεί ήδη να εφαρμοστεί στην εκπαίδευση και την έρευνα. Ωστόσο, απαιτούνται μελλοντικές εργασίες για την αναβάθμιση της λειτουργικότητας και της χρηστικότητας του ώστε να μετατραπεί σε ένα ολοκληρωμένο προϊόν έτοιμο για την αγορά. Για να συνοψίσουμε, αυτή η εργασία παρέχει μια νέα προοπτική στις αξιολογήσεις που βασίζονται σε δεδομένα απο εκπαιδευτικά παιχνίδια και συμβάλλει ουσιαστικά στην πρακτικότητα τους συνδυάζοντας εκπαιδευτικές μεθόδους και τεχνολογία αιχμής. Κατά συνέπεια, προσθέτει στην προώθηση της εκπαιδευτικής αξίας των εκπαιδευτικών παιγνίων και ως εκ τούτου προωθεί τη χρήση τους στην επικρατούσα εκπαίδευση.

Serious games die vooroplopen in digitaal onderwijs bieden nieuwe kansen voor actief leren en kunnen effectief de ontwikkeling ondersteunen van complexe competenties die als cruciaal worden beschouwd voor de mensen van de 21e eeuw. Desalniettemin is het beoordelen van dergelijke competenties met standaardtests (bijv. Meerkeuzevragenlijsten) een moeilijke, zo niet onmogelijke taak. Daarom is het van groot belang om nieuwe beoordelingsinstrumenten te ontwikkelen die educatieve waarde hebben en vertrouwen op principiële methodologieën. In dit proefschrift gebruiken we een datagedreven beoordelingsmethodologie genaamd Stealth Assessment (SA) en ontwikkelen we een beoordelingssoftwaretool op basis hiervan voor serious games. SA is een beoordelingsmethodologie die gebruik maakt van (a) Evidence Centered Design om de configuratie van beoordelingen op verschillende competentiestructuren mogelijk te maken en (b) Machine Learning-technologie om conclusies te trekken over het beheersingsniveau van de lerenden over respectieve competenties. Ondanks dat SA een bewezen methodologie is, is de toepassing ervan nog steeds complex, arbeidsintensief en tijdrovend. Om dit probleem aan te pakken, presenteert dit proefschrift een raamwerk voor de ontwikkeling en implementatie van een softwaretool, genaamd Smart CAT (Smart Configurable Assessment Tool), dat de barrières van het gebruik van SA verlaagt en de bredere toepassing ervan accommodeert. Smart CAT zorgt voor de flexibele opstelling van gegevensgestuurde beoordeling via zijn softwarewizard (die wordt verbeterd door een respectievelijke GUI) en voert automatisch ML-gerelateerde functies uit in zijn back end subsysteem. Smart CAT werd onderzocht op zijn robuustheid met behulp van een simulatiebenadering en het bleek dat het in staat was om effectief om te gaan met een reeks verschillende testomstandigheden. Ook bleek dat Smart CAT, wanneer het werd getest op empirische validiteit met real-world data van twee afzonderlijke serious games, in staat was om nauwkeurige en valide beoordelingen te geven, gegeven betrouwbaar inputmateriaal (data en statistisch model). Bovendien bleken Smart CAT’s, wanneer onderzocht op hun algehele bruikbaarheid, nuttig, gebruiksvriendelijk, gemakkelijk te leren en bevredigend voor de eindgebruikers. De resultaten van dit proefschrift laten zien dat Smart CAT de opstelling van SA effectief verzacht en dat het al kan worden toegepast in onderwijs en onderzoek. Toekomstig werk is echter nodig om de functionaliteit en bruikbaarheid te upgraden om er een volwaardig, marktklaar product van te maken. Samenvattend biedt dit proefschrift een nieuw perspectief op gegevensgestuurde beoordelingen in serious games en draagt het substantieel bij aan de uitvoerbaarheid ervan door educatieve methoden en praktijken te combineren met geavanceerde technologie. Daardoor draagt het bij aan de educatieve waarde van serious games en bevordert het daarom het gebruik van serious games in het reguliere onderwijs.