Προσαρμοστικά περιβάλλοντα επαυξημένης ηχητικής πραγματικότητας με χρήση δυναμικά μεταβαλλόμενης ηχητικής μείξης

Abstract

The field of Augmented Reality Audio (ARA) has introduced the ARA mixer as a method to mix the real with the virtual environment. The goal of this dissertation is to upgrade the function of ARA mix legacy model through the integration of adaptation to control the auditory fluctuations of unpredictable real environment in typical ARA applications. We propose a new perceptual ARA mixer model which adapts the blending of auditory environments in terms of binaural loudness. Consequently, a new technique of real-time binaural loudness prediction through feature extraction was integrated to ARA mixer. The effectiveness of proposed model of ARA mixer was demonstrated and evaluated through qualitative and quantitative methods; thus, it was applied and evaluated in a typical ARA game. Results show that among ARA mix quality tests, subjects prefer adaptive ARA mix. Analysis of players’ performance under ARA game task shows that better success rates can be realized in adaptive mode of ARA mixer instead of legacy ARA mix model. We show that this approach to ARA mixer is significantly more efficient than legacy ARA mixer model and that it provides an improved interactive experience through the tasks of a typical ARA application like the ARA game.

Το πεδίο της Επαυξημένης Πραγματικότητας Ήχου, έχει εισάγει τον μείκτη Επαυξημένης πραγματικότητας ήχου ως μια μέθοδο για τη μείξη πραγματικού με εικονικό περιβάλλον. Σκοπός της παρούσας διατριβής είναι η αναβάθμιση της λειτουργίας του παραδοσιακού μοντέλου επαυξημένης μείξης ήχου με την ενσωμάτωση προσαρμοστικότητας για τον έλεγχο του απρόβλεπτου και μεταβλητού πραγματικού περιβάλλοντος σε τυπικές εφαρμογές επαυξημένης πραγματικότητας ήχου. Προτείνεται ένα νέο αντιληπτικό μοντέλο επαυξημένης μείξης ήχου το οποίο αναμιγνύει τα ακουστικά περιβάλλοντα με όρους αμφιωτικής ακουστότητας. Επιπλέον, μια νέα τεχνική πρόβλεψης αμφιωτικής ακουστότητας σε πραγματικό χρόνο για την εξόρυξη χαρακτηριστικών ακουστικής αντίληψης ενσωματώνεται στο νέο μοντέλο μείξης. Το προτεινόμενο μοντέλο δοκιμάστηκε και αξιολογήθηκε για την αποδοτικότητά του μέσα από ποιοτικές και ποσοτικές μεθόδους καθώς και με τη χρήση σε ένα ηχητικό παιχνίδι Επαυξημένης Πραγματικότητας Ήχου. Τα αποτελέσματα της ποιοτική αξιολόγησης δείχνουν μια προτίμησης των υποκειμένων στο μοντέλο προσαρμοστικής μείξης. Η ανάλυση της απόδοσης των παικτών του ηχητικού παιχνιδιού στη διάρκεια της αξιολόγησης έδειξε μεγαλύτερα ποσοστά επιτυχίας για το μοντέλο προσαρμοστικής μείξης σε σύγκριση με το παραδοσιακό μοντέλο μείξης επαυξη- μένης πραγματικότητας ήχου. Συνεπώς, φαίνεται πως η νέα προσέγγιση της προσαρμοστικής επαυξημένης μείξης ήχου, είναι αποδοτικότερη για τους παίκτες του ηχητικού παιχνιδιού καθώς βελτιώνεται η εμπειρία διάδρασης μέσα σε μια τυπική εφαρμογή επαυξημένης πραγματικότητας ήχου όπως είναι το ηχητικό παιχνίδι επαυξημένης πραγματικότητας.