Modelling the aesthetic response to audio signals processing, with reference to spatial sound reproduction

Abstract

This dissertation investigates the factors that shape listeners’ aesthetic response in spatial audio reproduction and proposes methodological and modeling frameworks that integrate cognitive, perceptual, affective, and temporal aspects of listener experience. Conventional audio evaluation methods typically rely on static perceptual ratings and emphasize isolated attributes of sound reproduction. However, recent advances in immersive and interactive audio technologies highlight the need for more comprehensive approaches capable of capturing the multidimensional and dynamic nature of listener experience. In spatial audio environments, this experience is influenced not only by the acoustic properties of the reproduced sound field but also by listener expectations, emotional engagement, and the temporal evolution of signal attributes. To address these challenges, this work develops experimental methodologies and signal/channel-based models that enable a deeper understanding and improved prediction of listener responses in spatial audio systems. The dissertation is structured as follows: Chapter 1 introduces the research topic and discusses the motivation behind the present work, situating the study within the broader context of spatial audio perception and listener experience research. The chapter defines the main research objectives, summarizes the key contributions of the dissertation, and provides an outline of the thesis structure. Chapter 2 presents the theoretical background and methodological framework adopted throughout the dissertation. It reviews key concepts related to spatial audio perception and listener experience, addressing both perceptual and affective attributes, and introduces the evaluation methodologies employed in the listening experiments. These theoretical and methodological foundations provide the basis for the experimental procedures and modeling approaches developed in the subsequent chapters. Chapter 3 introduces an initial analytical framework for modeling Overall Listening Experience (OLE), investigating the relationship between cognitive listener preference and perceptual attributes related to the reproduction of binaural audio signals. Chapter 4 extends the previously introduced framework by incorporating affective listener responses, investigating how emotional dimensions, such as valence and arousal, contribute to the formation of listener preference in spatial audio reproduction. By integrating emotional responses with cognitive and perceptual attributes, this chapter provides a more comprehensive perspective on the factors that shape Overall Listening Experience. Chapter 5 proposes a novel methodology for the temporal assessment of perceptual sound attributes, enabling the dynamic evaluation of spatial perception during listening. This methodology provides a framework for analyzing time-varying aspects of auditory perception that are not adequately represented by conventional static evaluation methods. Chapter 6 develops machine learning models for predicting the temporal evolution of perceptual attributes. Building upon the previously introduced temporal assessment methodology, the proposed models examine the relationship between acoustic signal and channel features and the resulting time-varying perceptual responses of listeners. Chapter 7 summarizes the main findings of the dissertation and discusses directions for future research in the modeling and evaluation of listener experience in spatial audio systems.

Η παρούσα διδακτορική διατριβή διερευνά τους παράγοντες που διαμορφώνουν την αισθητική εμπειρία των ακροατών κατά την αναπαραγωγή χωρικού ήχου και προτείνει μεθοδολογικά και υπολογιστικά πλαίσια μοντελοποίησης που ενσωματώνουν γνωστικές, αντιληπτικές, συναισθηματικές και χρονικές πτυχές της εμπειρίας ακρόασης. Αφετηρία της διατριβής αποτελεί η διαπίστωση ότι η αξιολόγηση της ποιότητας και της εμπειρίας στον ήχο δεν μπορεί πλέον να περιορίζεται αποκλειστικά σε στατικές αντιληπτικές κρίσεις ή σε μεμονωμένα χαρακτηριστικά της ηχητικής αναπαραγωγής. Αντίθετα, η ακουστική εμπειρία, ιδιαίτερα σε σύγχρονα συστήματα χωρικού και διαδραστικού ήχου, συγκροτείται ως ένα πολυδιάστατο και δυναμικό φαινόμενο, στο οποίο συνυπάρχουν οι φυσικές ιδιότητες του ηχητικού πεδίου, οι αντιληπτικοί μηχανισμοί του ακροατή, η συναισθηματική του κατάσταση, οι προσδοκίες του, καθώς και η χρονική εξέλιξη του ηχητικού περιεχομένου. Οι συμβατικές μεθοδολογίες αξιολόγησης ήχου έχουν προσφέρει σημαντικά εργαλεία για τη μελέτη επιμέρους αντιληπτικών ιδιοτήτων, όπως η χωρική εμβύθιση, ο εντοπισμός ηχητικών πηγών ή η συνολική προτίμηση. Ωστόσο, οι μέθοδοι αυτές συχνά αντιμετωπίζουν την ακουστική εμπειρία ως στατική και απομονωμένη από το ευρύτερο πλαίσιο ακρόασης. Η προσέγγιση αυτή καθίσταται περιοριστική όταν εφαρμόζεται σε σύγχρονα περιβάλλοντα χωρικού ήχου, όπου το ηχητικό πεδίο μπορεί να μεταβάλλεται στον χρόνο, ο ακροατής ενδέχεται να βρίσκεται σε εμβυθιστικά ή διαδραστικά περιβάλλοντα, και η υποκειμενική εμπειρία επηρεάζεται από τη συνεχή αλληλεπίδραση μεταξύ αντιληπτικών, συναισθηματικών και γνωστικών διεργασιών. Στο πλαίσιο αυτό, η διατριβή υποστηρίζει ότι η αισθητική αξιολόγηση του ήχου πρέπει να προσεγγίζεται ως αποτέλεσμα μιας σύνθετης σχέσης μεταξύ του συστήματος αναπαραγωγής, του ηχητικού σήματος και του ίδιου του ακροατή. Ιδιαίτερη έμφαση δίνεται στον ρόλο των συναισθηματικών αποκρίσεων στη διαμόρφωση της ακουστικής εμπειρίας. Παρότι οι συναισθηματικές διαστάσεις, όπως η διέγερση και η ευχαρίστηση, επηρεάζουν ουσιαστικά τον τρόπο με τον οποίο οι ακροατές αξιολογούν ένα ηχητικό γεγονός, συχνά παραμένουν δευτερεύουσες ή έμμεσα ενσωματωμένες στις παραδοσιακές διαδικασίες αξιολόγησης. Η παρούσα εργασία εξετάζει την αλληλεπίδραση μεταξύ αντιληπτικών και συναισθηματικών κρίσεων, αναδεικνύοντας ότι οι αισθητικές αξιολογήσεις δεν καθορίζονται αποκλειστικά από τα αντικειμενικά χαρακτηριστικά του ηχητικού σήματος, αλλά και από την ένταση της συναισθηματικής εμπλοκής του ακροατή. Με αυτόν τον τρόπο, η διατριβή συμβάλλει στη μετάβαση από μια αμιγώς τεχνική αξιολόγηση της ηχητικής αναπαραγωγής προς μια πιο ανθρωποκεντρική θεώρηση της ακουστικής εμπειρίας. Παράλληλα, η διατριβή εξετάζει τη σημασία της ατομικής διαφοροποίησης στις αποκρίσεις των ακροατών. Η εμπειρία ακρόασης δεν είναι καθολική ή ενιαία, αλλά διαμορφώνεται από προσωπικούς, γνωστικούς και συναισθηματικούς παράγοντες, οι οποίοι οδηγούν σε σημαντικές διαφορές μεταξύ ακροατών. Για τον λόγο αυτό, προτείνονται μοντέλα που δεν περιορίζονται στην πρόβλεψη μέσων αποκρίσεων, αλλά επιχειρούν να λάβουν υπόψη την υποκειμενική φύση της εμπειρίας. Η ενσωμάτωση της διατομικής μεταβλητότητας στη μοντελοποίηση επιτρέπει την καλύτερη κατανόηση του τρόπου με τον οποίο διαφορετικοί ακροατές αντιλαμβάνονται, αξιολογούν και συναισθηματικά βιώνουν το ίδιο ηχητικό περιβάλλον. Ένας ακόμη βασικός άξονας της διατριβής αφορά τη χρονική διάσταση της ακουστικής εμπειρίας. Οι αντιληπτικές και συναισθηματικές αποκρίσεις δεν εμφανίζονται ως στιγμιαίες και σταθερές κρίσεις, αλλά εξελίσσονται δυναμικά κατά τη διάρκεια της ακρόασης. Η χρονική δομή του ηχητικού σήματος, οι μεταβολές της χωρικής πληροφορίας και η δυναμική του περιεχομένου επηρεάζουν την τελική αξιολόγηση του ακροατή. Η διατριβή αναπτύσσει και αξιοποιεί πειραματικές μεθοδολογίες που στοχεύουν στην αποτύπωση αυτής της χρονικής εξέλιξης, επιτρέποντας τη μελέτη της ακουστικής εμπειρίας όχι μόνο ως τελικής κρίσης, αλλά ως διαδικασίας που εκτυλίσσεται στον χρόνο. Σε υπολογιστικό επίπεδο, η εργασία προτείνει μοντέλα βασισμένα σε χαρακτηριστικά του ηχητικού σήματος και του συστήματος αναπαραγωγής, με στόχο την πρόβλεψη αντιληπτικών, συναισθηματικών και αισθητικών αποκρίσεων. Η εξαγωγή και αξιοποίηση κατάλληλων ακουστικών και χωρικών χαρακτηριστικών επιτρέπει τη σύνδεση μεταξύ μετρήσιμων (αντικειμενικών) ιδιοτήτων του ηχητικού πεδίου και υποκειμενικών κρίσεων των ακροατών. Μέσα από την εφαρμογή μεθόδων μηχανικής μάθησης και στατιστικής μοντελοποίησης, η διατριβή διερευνά πώς τα χαρακτηριστικά αυτά μπορούν να χρησιμοποιηθούν για την κατανόηση, την ερμηνεία και την πρόβλεψη της ακουστικής εμπειρίας. Η προσέγγιση αυτή αντιμετωπίζει το σύνολο των υποκείμενων μηχανισμών ως ένα σύνθετο σύστημα, του οποίου η συμπεριφορά μπορεί να προσεγγιστεί μέσα από δεδομένα, μοντέλα και πειραματικές παρατηρήσεις. Συνολικά, η παρούσα διατριβή συμβάλλει στην ανάπτυξη μιας πιο ολιστικής και δυναμικής προσέγγισης για την αξιολόγηση χωρικού ήχου. Αναδεικνύει ότι η αισθητική εμπειρία της ακρόασης δεν αποτελεί απλώς αποτέλεσμα της τεχνικής ποιότητας της αναπαραγωγής, αλλά προϊόν της συνεχούς αλληλεπίδρασης μεταξύ ηχητικού συστήματος, ακουστικού περιβάλλοντος, αντιληπτικών μηχανισμών και συναισθηματικής εμπλοκής του ακροατή. Με τον τρόπο αυτό, η διατριβή παρέχει θεωρητικά, πειραματικά και υπολογιστικά εργαλεία που μπορούν να υποστηρίξουν τη μελλοντική ανάπτυξη και αξιολόγηση προηγμένων συστημάτων χωρικού, εμβυθιστικού και διαδραστικού ήχου. Η διατριβή οργανώνεται ως εξής: Στο Κεφάλαιο 1 παρουσιάζεται το αντικείμενο της έρευνας, το ευρύτερο επιστημονικό πλαίσιο στο οποίο εντάσσεται η διατριβή, καθώς και τα βασικά ερευνητικά ερωτήματα. Επιπλέον, διατυπώνονται οι κύριοι στόχοι της εργασίας και συνοψίζονται οι βασικές συνεισφορές της, τόσο σε θεωρητικό όσο και σε μεθοδολογικό και υπολογιστικό επίπεδο. Στο Κεφάλαιο 2 παρουσιάζεται το θεωρητικό υπόβαθρο και το μεθοδολογικό πλαίσιο της διατριβής. Ιδιαίτερη έμφαση δίνεται στις βασικές έννοιες που σχετίζονται με την αντίληψη του χωρικού ήχου, στα αντιληπτικά και συναισθηματικά χαρακτηριστικά που διαμορφώνουν την ακουστική εμπειρία, καθώς και στις μεθοδολογίες αξιολόγησης που χρησιμοποιούνται σε πειράματα ακρόασης. Το κεφάλαιο αυτό λειτουργεί ως βάση για την κατανόηση των πειραματικών και υπολογιστικών προσεγγίσεων που αναπτύσσονται στα επόμενα κεφάλαια. Στο Κεφάλαιο 3 εισάγεται ένα αρχικό πλαίσιο για τη μοντελοποίηση της Συνολικής Εμπειρίας Ακρόασης (Overall Listening Experience – OLE), διερευνώντας τη σχέση μεταξύ γνωστικής προτίμησης των ακροατών και αντιληπτικών χαρακτηριστικών που σχετίζονται με την αναπαραγωγή αμφιωτικών ηχητικών σημάτων. Μέσα από την ανάλυση αυτή αναδεικνύεται ο ρόλος συγκεκριμένων αντιληπτικών παραμέτρων στη διαμόρφωση της συνολικής αξιολόγησης της ακουστικής εμπειρίας. Στο Κεφάλαιο 4 επεκτείνεται το προτεινόμενο πλαίσιο με την ενσωμάτωση συναισθηματικών αποκρίσεων των ακροατών, εξετάζοντας τον ρόλο συναισθηματικών διαστάσεων, όπως η ευχαρίστηση και η διέγερση, στη διαμόρφωση της προτίμησης των ακροατών. Στο Κεφάλαιο 5 προτείνεται μια μεθοδολογία χρονικής αξιολόγησης αντιληπτικών χαρακτηριστικών του ήχου, η οποία επιτρέπει τη δυναμική αξιολόγηση των χωρικών αντιληπτικών παραμέτρων κατά τη διάρκεια της ακρόασης και τη μελέτη της χρονικής εξέλιξης των αντιληπτικών αποκρίσεων. Στο Κεφάλαιο 6 αναπτύσσονται μοντέλα μηχανικής μάθησης για την πρόβλεψη της χρονικής εξέλιξης αντιληπτικών χαρακτηριστικών. Συγκεκριμένα, διερευνάται η σχέση μεταξύ μετρήσιμων χαρακτηριστικών του ηχητικού σήματος και των αντίστοιχων χρονικά μεταβαλλόμενων αντιληπτικών αποκρίσεων των ακροατών. Το κεφάλαιο αυτό εστιάζει στη δυνατότητα υπολογιστικής μοντελοποίησης της δυναμικής ακουστικής εμπειρίας, συνδέοντας αντικειμενικά χαρακτηριστικά του συστήματος με υποκειμενικές ανθρώπινες αποκρίσεις.. Στο Κεφάλαιο 7 συνοψίζονται τα κύρια ευρήματα της διατριβής και συζητείται η σημασία τους για τη μοντελοποίηση και αξιολόγηση της εμπειρίας ακρόασης σε συστήματα χωρικού ήχου. Παράλληλα, παρουσιάζονται οι βασικοί περιορισμοί της εργασίας και διατυπώνονται προοπτικές για μελλοντική έρευνα, με έμφαση στην περαιτέρω ενσωμάτωση αντιληπτικών, συναισθηματικών και χρονικών παραμέτρων σε ολοκληρωμένα πλαίσια αξιολόγησης χωρικού ήχου.