Multiple sound source location estimation and counting in wireless acoustic sensor networks

Abstract

Wireless acoustic sensor networks (WASNs) represent a new paradigm for acoustic signal acquisition. Multiple acoustic nodes that feature processing and communication capabilities are distributed in the environment where typically multiple sound sources are active. In such a setup, inference of location information has always been an attractive research problem. Enabling machines to estimate the locations of the multiple simultaneously active sound sources from their acoustic emissions is crucial in many applications, such as wildlife monitoring and speech enhancement for robust signal acquisition. Throughout the years, different localization methods have been proposed with the everlasting goal to achieve the lowest possible localization error. Although significant steps have been made towards this direction, another unexplored field concerns the practical limitations posed by the sensor network that restrict the application of such methods to real-life WASNs. Such limitations include the limited processing power and battery life of the nodes, the communication bandwidth that has to be attained at low levels, the real-time requirements and synchronization issues. In this thesis, we consider the problem of multiple source localization and we investigate the development of methods that not only achieve high accuracy in realistic scenarios but also attain low communication bandwidth, tolerate unsynchronized input and are computationally efficient to facilitate their application in real-life WASNs. We consider a WASN where each node is a microphone array that estimates and transmits information related to the directions of arrival (DOAs) of the active sound sources. Such a scheme attains very low communication bandwidth, as only the DOAs need to be transmitted. Moreover, DOA-based localization methods can tolerate unsynchronized input, thus the acoustic signals need not be perfectly synchronized. We first focus on the single source case and propose a computationally efficient non-linear least squares estimator that can accurately estimate the source's location using an iterative grid-based approach. We then proceed to the multiple sources case, assuming that the number of sources is known. In this case, a core problem for DOA-based approaches is that the fusion center that receives the multiple DOA estimates from the nodes cannot know to which source each DOA belongs. This is known as the data-association problem. To address this problem we propose two solutions: the first concerns the extension of our grid-based approach to multiple sources and the second utilizes additional information, apart from the DOA estimates, in order to find the correct association of DOAs from the nodes to the sources. We then relax the assumption of known number of sources and propose another method that can jointly perform source counting and location estimation. Our method is based on clustering narrowband per-frequency location estimates which are inferred using narrowband per-frequency DOA estimates from the nodes. Since a determinant factor that affects localization performance is the accuracy in which the DOA estimates are obtained, we also investigate how we can improve DOA estimation performance and we propose a methodology to infer more accurate and reliable DOA estimates. Finally, we investigate the potential use of location information to audio processing applications. We provide two examples of how location information can be used for spatial audio capturing and for the design of beamformers that leverage location information in order to estimate the steering vector of the target source. Our preliminary results reveal the potential of location-based approaches to provide improved performance.

Τα Ασύρματα Δίκτυα Ακουστικών Αισθητήρων αποτελούν μια νέα τεχνική λήψης ακουστικών σημάτων. Πολλαπλοί ακουστικοί αισθητήρες με επεξεργαστική ισχύ και ικανότητες μετάδοσης πληροφορίας διανέμονται σε ένα περιβάλλον όπου τυπικά πολλές ηχητικές πηγές είναι ενεργές. Σε τέτοιες περιπτώσεις, η εκτίμηση της θέσης των πηγών στο χώρο ήταν πάντα ένα ενδιαφέρον ερευνητικό πρόβλημα. Η πληροφορία της θέσης των πολλαπλών ενεργών ηχητικών πηγών είναι σημαντική σε μια πληθώρα εφαρμογών όπως η παρακολούθηση της άγριας πανίδας και η βελτίωση ποιότητας για την εύρωστη λήψη ηχητικών σημάτων. Με την πάροδο των χρόνων αναπτύχθηκαν διάφορες μέθοδοι εύρεσης θέσης με τελικό στόχο την επίτευξη του χαμηλότερου δυνατού σφάλματος. Ενώ έχει γίνει σημαντική πρόοδος προς αυτή την κατεύθυνση, ένας άλλος τομέας που δεν έχει ευρέως μελετηθεί αφορά τους πρακτικούς περιορισμούς που προκύπτουν από το δίκτυο αισθητήρων, οι οποίοι περιορίζουν την πρακτική εφαρμογή τέτοιων μεθόδων σε πραγματικά δίκτυα ακουστικών αισθητήρων. Τέτοιοι περιορισμοί αφορούν την περιορισμένη επεξεργαστική ισχύ των αισθητήρων, τις απαιτήσεις σε εύρος ζώνης που πρέπει να είναι χαμηλές, τις απαιτήσεις για εφαρμογές πραγματικού χρόνου και τα ζητήματα συγχρονισμού μεταξύ των ηχητικών σημάτων. Σε αυτή τη διατριβή, μελετάμε το πρόβλημα της εύρεσης θέσης πολλαπλών ταυτόχρονα ενεργών ηχητικών πηγών σε ένα δίκτυο ακουστικών αισθητήρων και ερευνούμε την ανάπτυξη μεθόδων εύρεσης θέσης που είναι ικανές όχι μόνο να επιτυγχάνουν υψηλή ακρίβεια σε ρεαλιστικά περιβάλλοντα, αλλά επίσης έχουν χαμηλές απαιτήσεις σε εύρος ζώνης, μπορούν να λειτουργήσουν με μη-συγχρονισμένη είσοδο και είναι υπολογιστικά αποτελεσματικές, ώστε να καθιστούν δυνατή την εφαρμογή τους σε πραγματικά δίκτυα ακουστικών αισθητήρων. Θεωρούμε ένα ασύρματο δίκτυο ακουστικών αισθητήρων όπου ο κάθε κόμβος είναι μια συστοιχία μικροφώνων η οποία εκτιμά και μεταδίδει πληροφορία σχετικά με την κατεύθυνση άφιξης των ηχητικών σημάτων των ενεργών ηχητικών πηγών στο περιβάλλον. Αυτή η προσέγγιση επιτυγχάνει χαμηλές απαιτήσεις σε εύρος ζώνης, αφού αρκεί μόνο η μετάδοση των εκτιμήσεων των κατευθύνσεων άφιξης. Επιπλέον, οι τεχνικές εύρεσης θέσης που βασίζονται σε εκτιμήσεις κατευθύνσεων άφιξης μπορούν να λειτουργήσουν όταν τα ηχητικά σήματα μεταξύ των διάφορων κόμβων του δικτύου δεν είναι τέλεια συγχρονισμένα. Αρχικά επικεντρωνόμαστε στο πρόβλημα εκτίμησης θέσης μιας ενεργής ηχητικής πηγής και προτείνουμε έναν υπολογιστικά αποτελεσματικό μη-γραμμικό εκτιμητή θέσης που είναι ικανός να εντοπίσει τη θέση της πηγής με ακρίβεια χρησιμοποιώντας μια επαναληπτική μέθοδο βασισμένη σε πλέγμα. Έπειτα, ασχολούμαστε με την περίπτωση όπου πολλαπλές ηχητικές πηγές είναι ταυτόχρονα ενεργές, θεωρώντας ότι ο αριθμός τους είναι γνωστός. Το βασικό πρόβλημα που προκύπτει στην περίπτωση των πολλαπλών πηγών είναι ότι ο κεντρικός κόμβος που λαμβάνει τις πολλαπλές εκτιμήσεις κατευθύνσεων άφιξης δεν γνωρίζει σε ποια πηγή αντιστοιχούν. Το πρόβλημα αυτό είναι γνωστό ως πρόβλημα αντιστοίχισης δεδομένων (data-association problem). Για να επιλύσουμε αυτό το πρόβλημα προτείνουμε δύο προσεγγίσεις: η πρώτη αφορά την επέκταση της βασισμένης σε πλέγμα τεχνικής σε πολλαπλές πηγές και η δεύτερη χρησιμοποιεί επιπλέον πληροφορία (εκτός των κατευθύνσεων άφιξης) από τους αισθητήρες με σκοπό να βρεθεί η σωστή αντιστοίχιση των κατευθύνσεων άφιξης από τους κόμβους στις ηχητικές πηγές. Έπειτα, θεωρούμε ότι ο αριθμός των πηγών είναι επίσης άγνωστος και προτείνουμε μια μέθοδο ικανή να εκτιμήσει τον αριθμό των πηγών που είναι ενεργές στο περιβάλλον και τις θέσεις τους. Η μέθοδος μας βασίζεται στην ομαδοποίηση εκτιμήσεων θέσης που προκύπτουν για κάθε συχνότητα των ηχητικών σημάτων και έχουν εκτιμηθεί χρησιμοποιώντας τις ανα-συχνότητα εκτιμήσεις κατευθύνσεων άφιξης. Στη συνέχεια μελετάμε το πώς μπορούμε να βελτιώσουμε την ακρίβεια στην εκτίμηση των κατευθύνσεων άφιξής, αφού αυτή αποτελεί έναν σημαντικό παράγοντα που επηρεάζει την ακρίβεια της εκτίμησης θέσης. Προτείνουμε μια τεχνική που μπορεί να συνδυαστεί με οποιαδήποτε μέθοδο εκτίμησης κατευθύνσεων άφιξης για πιο ακριβείς και αξιόπιστες εκτιμήσεις. Τέλος, ερευνούμε και περιγράφουμε δύο παραδείγματα για την δυνητική χρήση της πληροφορίας σχετικά με τη θέση των ηχητικών πηγών σε διάφορες εφαρμογές επεξεργασίας ήχου. Το πρώτο παράδειγμα αφορά τη χρήση της πληροφορίας της θέσης για την παραγωγή ήχου με χωρική πληροφορία και το δεύτερο αφορά τη σχεδίαση ενός σχηματιστή λοβού (beamformer) που χρησιμοποιεί την πληροφορία των θέσης για την ενίσχυση του σήματος μιας ηχητικής πηγής. Αρχικά αποτελέσματα στις δύο αυτές εφαρμογές δείχνουν ότι μέθοδοι που βασίζονται στη θέση των ηχητικών πηγών μπορούν δυνητικά να χρησιμοποιηθούν σε εφαρμογές διαχωρισμού πηγών και βελτίωσης της ποιότητας των λαμβανόμενων ηχητικών σημάτων.