Robust adaptive machine learning algorithms for distributed signal processing

Abstract

Distributed networks comprising a large number of nodes, e.g., Wireless Sensor Networks, Personal Computers (PC's), laptops, smart phones, etc., which cooperate with each other in order to reach a common goal, constitute a promising technology for several applications. Typical examples include: distributed environmental monitoring, acoustic source localization, power spectrum estimation, etc. Sophisticated cooperation mechanisms can significantly benefit the learning process, through which the nodes achieve their common objective. In this dissertation, the problem of adaptive learning in distributed networks is studied, focusing on the task of distributed estimation. A set of nodes sense information related to certain parameters and the estimation of these parameters constitutes the goal. Towards this direction, nodes exploit locally sensed measurements as well as information springing from interactions with other nodes of the network. Throughout this dissertation, the cooperation among the nodes follows the diffusion optimization rationale and the developed algorithms belong to the APSM algorithmic family. First, robust APSM--based techniques are proposed. The goal is to ``harmonize" the spatial information, received from the neighborhood, with the locally sensed one. This ``harmonization" is achieved by projecting the information of the neighborhood onto a convex set, constructed via the locally sensed measurements. Next, the scenario, in which a subset of the nodeset is malfunctioning and produces measurements heavily corrupted with noise, is considered. This problem is attacked by employing the Huber cost function, which is resilient to the presence of outliers. In the sequel, we study the issue of sparsity--aware adaptive distributed learning. The nodes of the network seek for an unknown sparse vector, which consists of a small number of non--zero coefficients. Weighted $\ell_1$--norm constraints are embedded, together with sparsity--promoting variable metric projections. Finally, we propose algorithms, which lead to a reduction of the communication demands, by forcing the estimates to lie within lower dimensional Krylov subspaces. The derived schemes serve a good trade-off between complexity/bandwidth demands and achieved performance.

Κατανεμημένα δίκτυα τα οποία απαρτίζονται από έναν μεγάλο αριθμό κόμβων, π.χ. Δίκτυα Ασύρματων Αισθητήρων, προσωπικοί υπολογιστές, φορητοί υπολογιστές, έξυπνα τηλέφωνα, κλπ., οι οποίοι συνεργάζονται με σκοπό την επίτευξη ενός κοινού στόχου, αποτελούν μια υποσχόμενη τεχνολογία η οποία βρίσκει εφαρμογή σε πολλά μοντέρνα προβλήματα. Τυπικά παραδείγματα τέτοιων εφαρμογών είναι τα εξής: κατανεμημένη επίβλεψη περιβάλλοντος, εύρεση ακουστικής πηγής, εκτίμηση φάσματος, κλπ. Συνεργατικοί μηχανισμοί δύνανται να βελτιώσουν σημαντικά την διαδικασία εκμάθησης, μέσω της οποίας οι κόμβοι επιτυγχάνουν τον κοινό στόχο τους.Η παρούσα διατριβή μελετά το πρόβλημα της προσαρμοστικής μάθησης σε κατανεμημένα δίκτυα, εστιάζοντας στο πρόβλημα της κατανεμημένης εκτίμησης παραμέτρων. Ένα σύνολο από κόμβους λαμβάνουν πληροφορία, η οποία σχετίζεται με συγκεκριμένες παραμέτρους, και η εκτίμηση των εν λόγω παραμέτρων αποτελεί τον στόχο μας. Προς αυτήν την κατεύθυνση, οι κόμβοι λαμβάνουν υπόψη τόσο τις τοπικές μετρήσεις, όσο και την πληροφορία η οποία λαμβάνεται από την συνεργασία με τους υπόλοιπους κόμβους του δικτύου. Στα πλαίσια της παρούσας διατριβής, η συνεργασία μεταξύ των κόμβων ακολουθεί την φιλοσοφία της κατανεμημένης βελτιστοποίησης μέσω διάχυσης και οι προτεινόμενοι αλγόριθμοι ανήκουν στην οικογένεια APSM. Αρχικά, εύρωστοι αλγόριθμοι με βάση τον APSM προτείνονται. Ο στόχος είναι η «εναρμόνιση» της πληροφορίας, η οποία λαμβάνεται από την γειτονιά, με την τοπική πληροφορία. Η εν λόγω «εναρμόνιση» επιτυγχάνεται μέσω προβολής της πληροφορίας της γειτονιάς πάνω σε ένα κυρτό σύνολο, το οποίο κατασκευάζεται με βάση τοπικές μετρήσεις. Στην συνέχεια, αντιμετωπίζεται σενάριο κατά το οποίο ένα υποσύνολο των κόμβων του δικτύου δυσλειτουργεί και παράγει μετρήσεις, οι οποίες έχουν υποβαθμιστεί σημαντικά από τον θόρυβο. Για την επίλυση του εν λόγω προβλήματος γίνεται χρήση της συνάρτησης κόστους Huber, η οποία είναι εύρωστη στην ύπαρξη ακραίων τιμών θορύβου. Επιπλέον, μελετήθηκε το πρόβλημα της προσαρμοστικής εκτίμησης αραιών διανυσμάτων στα πλαίσια της κατανεμημένης μάθησης. Οι κόμβοι του δικτύου αναζητούν άγνωστο, αραιό διάνυσμα, το οποίο αποτελείται από μικρό αριθμό μη μηδενικών συντελεστών. Περιορισμοί σταθμισμένης l1 νόρμας καθώς και προβολές μεταβλητής μετρικής, οι οποίες ευνoούν αραιές λύσεις χρησιμοποιούνται. Τέλος, προτείνονται αλγόριθμοι, οι οποίοι οδηγούν σε μείωση της πληροφορίας που αποστέλλεται στο δίκτυο, περιορίζοντας τις εκτιμήσεις να βρίσκονται πάνω σε έναν Krylov υπόχωρο. Οι προτεινόμενοι αλγόριθμοι έχουν υψηλή απόδοση ενώ ταυτόχρονα οι απαιτούμενοι πόροι εύρους ζώνης και η πολυπλοκότητα παραμένουν σε λογικά επίπεδα.