Leveraging sensor data for real time recognition of engagement in adaptive serious games for health

Abstract

The aim of the present Doctoral Thesis is the development of a novel conceptual framework for personalization in serious games (SGs) for health. The proposed framework leverages sensor data for the recognition of player engagement during interaction with SGs for health in real time. This approach aims to automatically generate game content based on player engagement, in-game performance, and health-related needs. In the present thesis, two novel SGs for health are designed and developed, aiming to promote self-health management in chronic health conditions and incorporating mechanics to facilitate procedural generation of content. A novel technique, based on a genetic algorithm, that employs heterogeneous data for procedural content generation (PCG) in SGs for health is presented. Two carefully designed experimental processes are implemented to investigate the feasibility of the proposed framework. The experimental processes collect data from sensors and interaction with the SG for health and investigate matters of player experience, educational value of the intervention, and efficiency of the proposed PCG technique. The two employed SGs for health aim to promote food and nutrition literacy and raise awareness and promote self-health management for obstructive sleep apnea, respectively. Analysis for sensor-based real-time recognition of engagement is conducted by approximating the ground truth, in terms of perceived engagement, through continuous annotations by participants. Results indicate that the educational value of the first SG for health is similar to a traditional intervention and demonstrate the predictive capacity of features extracted from the collected data towards perceived player engagement. In addition, statistically significant differences are revealed in terms of player experience in correlation with the generated content by the PCG. Furthermore, the PCG technique’s capacity to rely on clinically relevant sensor data to produce tailored game content is investigated in a pre-pilot study employing a SG for health for children with type 1 diabetes and/or obesity. Results display the PCG’s effectiveness in generating useful and relevant content, tailored to player needs, based on sensor and platform interaction data.Finally, the proposed PCG technique is evaluated with the use of deep reinforcement learning (DRL) agents for automated playing. Results indicate an overall superiority in DRL agents’ training when exposed to SG content produced by the proposed PCG technique. Overall findings included in the present Doctoral Thesis advocate towards the feasibility of the introduced conceptual framework. The insights gained from the experimental processes provide convincing arguments towards creating a closed real-time engagement feedback loop in adaptive SG for health, based on sensor and interaction data.

Στόχος της παρούσας Διδακτορικής Διατριβής είναι η ανάπτυξη ενός πρωτότυπου εννοιολογικού πλαισίου που επιτρέπει την ενίσχυση και εξατομίκευση της παρέμβασης που προσφέρουν έξυπνα παιχνίδια σοβαρού σκοπού για την υγεία (ΠΣΣΥ). Το προτεινόμενο πλαίσιο αξιοποιεί δεδομένα που συλλέγονται από αισθητήρες για την αναγνώριση των επιπέδων προσήλωσης χρήστη σε πραγματικό χρόνο κατά την αλληλεπίδρασή του με ΠΣΣΥ. Η προσέγγιση αυτή στοχεύει στη δυναμική προσαρμογή του περιεχομένου των παιχνιδιών, με βάση τα εκτιμώμενα επίπεδα προσήλωσης, την επίδοση στο παιχνίδι και τις ιδιαίτερες ανάγκες υγείας του χρήστη. Στη διατριβή, σχεδιάζονται και αναπτύσσονται δύο πρωτότυπα ΠΣΣΥ που αποσκοπούν στην ενημέρωση, στην εκπαίδευση και στην ενίσχυση της ικανότητας αυτοδιαχείρισης χρόνιων νοσημάτων και ενσωματώνουν μηχανισμούς που επιτρέπουν την αυτοματοποιημένη προσαρμογή περιεχομένου (ΑΠΠ). Προτείνεται μια πρωτότυπη μεθοδολογία ΑΠΠ που βασίζεται σε γενετικό αλγόριθμο και στοχεύει στο βέλτιστο και αυτόματο έλεγχο του περιεχόμενου ΠΣΣΥ με βάση συλλεγόμενα ετερογενή δεδομένα. Το προτεινόμενο εννοιολογικό πλαίσιο αξιολογείται σύμφωνα με δύο κατάλληλα σχεδιασμένες πειραματικές διαδικασίες. Οι πειραματικές διαδικασίες συλλέγουν δεδομένα από αισθητήρες και την αλληλεπίδραση με ΠΣΣΥ και διερευνούν ζητήματα εμπειρίας χρήστη, εκπαιδευτικής αξίας της παρέμβασης και επίδοσης της προτεινόμενης μεθοδολογίας ΑΠΠ. Τα δύο ΠΣΣΥ που αξιοποιούνται στοχεύουν στην ενίσχυση της διατροφικής παιδείας και την ενημέρωση και ενίσχυση της αυτοδιαχείρισης της υπνικής άπνοιας αντίστοιχα. Πραγματοποιείται ανάλυση για αναγνώριση των επιπέδων προσήλωσης σε πραγματικό χρόνο αξιοποιώντας επισημειώσεις της αντίληψης προσήλωσης από το χρήστη σε πραγματικό χρόνο. Τα αποτελέσματα υποδεικνύουν ότι το πρώτο ΠΣΣΥ έχει παρόμοια εκπαιδευτική αξία με παραδοσιακή παρέμβαση και επιδεικνύουν την προβλεπτική ικανότητα χαρακτηριστικών που εξάχθηκαν από τα συλλεγόμενα δεδομένα προς τα αντιληπτά επίπεδα προσήλωσης του χρήστη. Παράλληλα, αποκαλύπτονται στατιστικά σημαντικές διαφορές στην εμπειρία χρήστη που σχετίζονται με το παραγόμενο περιεχόμενο από την ΑΠΠ. Η ικανότητα της προτεινόμενης μεθοδολογίας ΑΠΠ να συνυπολογίζει δεδομένα με κλινική αξία που συλλέγονται από αισθητήρες για να παράγει εξατομικευμένο περιεχόμενο αξιολογείται σε προ-πιλοτική μελέτη που αξιοποιεί ΠΣΣΥ για παιδιά με σακχαρώδη διαβήτη τύπου 1 ή/και παχυσαρκία. Τα αποτελέσματα παρουσιάζουν την ικανότητα της μεθοδολογίας ΑΠΠ να προβάλει χρήσιμο και σχετικό με τις ανάγκες του χρήστη περιεχόμενο παιχνιδιού, βασιζόμενη σε δεδομένα αισθητήρων και αλληλεπίδρασης. Τέλος, η προτεινόμενη μεθοδολογία ΑΠΠ ελέγχεται με τη χρήση πρακτόρων βαθιάς μάθησης που εκπαιδεύονται να διατρέχουν το ΠΣΣΥ αυτόματα. Τα αποτελέσματα αποδεικνύουν την ανωτερότητα της εκπαίδευσης πρακτόρων που εκτίθενται στο περιεχόμενο που παράγεται αυτόματα από την προτεινόμενη μεθοδολογία ΑΠΠ. Τα συμπεράσματα που παρουσιάζονται στην παρούσα Διδακτορική Διατριβή υποστηρίζουν τη δυνατότητα υλοποίησης του προτεινόμενου εννοιολογικού πλαισίου. Τα αποτελέσματα των πειραματικών διαδικασιών συνηγορούν στη δημιουργία ενός κλειστού βρόχου ανατροφοδότησης της προσήλωσης χρήστη σε δυναμικά μεταβαλλόμενα ΠΣΣΥ, αξιοποιώντας δεδομένα αισθητήρων και αλληλεπίδρασης.