Η μελέτη της επίδρασης της εμβυθιστικής εικόνας σε περιβάλλοντα εικονικής και εκτεταμένης πραγματικότητας στην ψυχοφυσιολογική κατάσταση του υποκειμένου, μέσω αξιοποίησης εργαλείων ηλεκτροεγκεφαλογραφίας και βιντεοπαιχνιδιών

Abstract

The dissertation investigates the impact of digitally generated immersive imagery within Virtual and Extended Reality (VR/XR) environments on the psychophysiological state of the participant. The originality of the research lies in the integration of theoretical and empirical approaches within contemporary XR environments, through the usage of portable and low-cost EEG devices, as well as game development tools, in the context of interdisciplinary, artistic, technological, and scientific practices. At a theoretical level, the study draws inspiration from principles of experimental aesthetics, whereas at an applied level, it introduces a novel experimental framework, capable of parameterization and synchronization between neural signals and virtual stimuli, enabling the recording and interpretation of brain activity in real-time. The framework’s architecture is designed to ensure interoperability between portable EEG systems and computer game development platforms, thus allowing for dynamic flow and evaluation of brain data, without necessitating specialized technical expertise. This approach renders the framework accessible to both artists and researchers, facilitating the recording, integration, or processing of neurophysiological data in real-time, within a creative or experimental practice. Throughout this process, the outcome is a novel methodological framework that merges brain activity measurement with creative and experimental applications in multimodal, interactive environments. The case studies conducted within the scope of this PhD research highlight that low-cost EEG devices can provide scientifically valid and reliable data for measuring responses to visual stimuli, which can be associated with cognitive and affective states. Furthermore, the framework developed herein is shown to function not only as a research tool, but also as an expressive medium, capable of generating dynamic, adaptive, real-time content, shaped by the participant’s psychophysiological state. The findings underscore the necessity of a multifactorial approach that accounts for cultural, social, subjective, and technical variables. Overall, the present dissertation covers the fundamental principles of the field, creating a well-documented and applicable foundation for the future development of interactive systems towards recording and analyzing experiences in digital environments.

Η παρούσα διατριβή διερευνά την επίδραση της ψηφιακά δημιουργημένης εμβυθιστικής εικόνας, σε περιβάλλοντα Εικονικής και Εκτεταμένης Πραγματικότητας (VR/XR), στην ψυχοφυσιολογική κατάσταση του υποκειμένου. Η πρωτοτυπία της έρευνας έγκειται στην ενσωμάτωση θεωρητικών και πειραματικών προσεγγίσεων, σε σύγχρονα XR περιβάλλοντα, μέσω της χρήσης φορητών και χαμηλού κόστους συσκευών ηλεκτροεγκεφαλογραφίας (EEG), καθώς και εργαλείων ανάπτυξης βιντεοπαιχνιδιών, στο πλαίσιο διεπιστημονικών, καλλιτεχνικών, τεχνολογικών και επιστημονικών πρακτικών. Σε θεωρητικό επίπεδο, η έρευνα αντλεί έμπνευση από την πειραματική αισθητική, ενώ, σε πρακτικό επίπεδο, δημιουργήθηκε ένας πειραματικός μηχανισμός, που επιτρέπει την παραμετροποίηση και τον συγχρονισμό των εγκεφαλικών σημάτων με εικονικά ερεθίσματα, καταγράφοντας εγκεφαλικά δεδομένα, σε πραγματικό χρόνο. Η αρχιτεκτονική του συστήματος έχει σχεδιαστεί, ώστε να υποστηρίζει τη διαλειτουργικότητα μεταξύ φορητών EEG συστημάτων και εφαρμογών δημιουργίας βιντεοπαιχνιδιών, επιτρέποντας τη δυναμική ροή και αξιοποίηση των εγκεφαλικών δεδομένων, χωρίς την απαίτηση εξειδικευμένων γνώσεων. Καθίσταται, έτσι, προσβάσιμο σε καλλιτέχνες ή ερευνητές, οι οποίοι μπορούν είτε να καταγράψουν, είτε να ενσωματώσουν και να επεξεργαστούν τα δεδομένα, σε πραγματικό χρόνο, στο πλαίσιο μιας δημιουργικής ή πειραματικής πρακτικής. Μέσα από αυτή τη διαδικασία, διαμορφώνεται ένα νέο μεθοδολογικό πλαίσιο, το οποίο συνδυάζει τη μέτρηση της εγκεφαλικής δραστηριότητας με τη δημιουργική και ερευνητική αξιοποίηση της, σε πολυτροπικά, διαδραστικά περιβάλλοντα. Οι μελέτες περίπτωσης επισημαίνουν ότι οι χαμηλού κόστους συσκευές EEG μπορούν να παρέχουν αξιόπιστα και επιστημονικά αξιοποιήσιμα δεδομένα για τη μέτρηση αποκρίσεων σε οπτικά ερεθίσματα, οι οποίες είναι δυνατό να συσχετιστούν με γνωστικές και συναισθηματικές καταστάσεις. Παράλληλα, αναδεικνύεται η δυναμική του μηχανισμού που αναπτύχθηκε, ως δημιουργικού εργαλείου έκφρασης και πειραματισμού, για την παραγωγή δυναμικών έργων, που διαμορφώνονται, σε πραγματικό χρόνο, ανάλογα με την ψυχοφυσιολογική κατάσταση του συμμετέχοντα. Ωστόσο, επισημαίνεται η ανάγκη πολυπαραγοντικής προσέγγισης, η οποία θα πρέπει να λαμβάνει υπόψη πολιτισμικές, κοινωνικές, υποκειμενικές και τεχνικές παραμέτρους. Η παρούσα διατριβή καλύπτει τις βασικές αρχές του πεδίου, δημιουργώντας ένα τεκμηριωμένο και εφαρμόσιμο θεμέλιο για τη μελλοντική ανάπτυξη διαδραστικών συστημάτων καταγραφής και ανάλυσης της εμπειρίας σε ψηφιακά περιβάλλοντα.