Model-based and data-driven approaches meet redundancy in signal processing

Abstract

The present dissertation is divided in two parts. In the first one, we address two inverse problems, namely compressed sensing (CS) and speech denoising, through the lens of the analysis sparsity model. To that end, we leverage ideas from time-frequency analysis and introduce a new redundant analysis operator associated to a Gabor frame, which efficiently sparsifies the signals of interest. Subsequently, we employ an iterative method for solving both problems and perform a numerical comparison of our analysis operator to state-of-the-art Gabor analysis operators, on both synthetic and real-world data. Our experimental results indicate improved performance when our proposed framework is employed to solve both inverse problems, since it outperforms all other Gabor transforms, consistently for all datasets. In the second part of this dissertation, we resolve the CS problem by employing the newly-introduced field of deep unfolding, which stems from the interpretation of classic iterative algorithms as deep neural networks. In order to do so, we ``unfold'' the iterations of two state-of-the-art algorithms, traditionally employed to solve the analysis-sparsity-based CS problem, into layers of neural networks. The latter jointly learn corresponding decoders and redundant sparsifying analysis operators. Our main novelty is attributed not only to the development of these two unfolding networks, but also to the estimation of the generalization error produced by each one of them. Regarding the latter, we take advantage of chaining techniques, in order to upper bound the Rademacher complexity of each network's hypothesis class. Then, we leverage this estimate so as to deliver the desired generalization error bounds. Finally, we conduct several experiments -- on synthetic and real-world datasets -- validating our derived theory and compare our proposed unfolding networks to a state-of-the-art one. As illustrated by the experimental results, both our unfolding networks outperform the baseline, consistently for all datasets.

Η παρούσα διατριβή χωρίζεται σε δύο μέρη. Στο πρώτο, αντιμετωπίζουμε δύο αντίστροφα προβλήματα, δηλαδή τη συμπιεστική δειγματοληψία (ΣΔ) και την αποθορυβοποίηση ομιλί\-ας, υπό το πρίσμα του μοντέλου αναλυτικής αραιότητας. Για το σκοπό αυτό, αξιοποιούμε ιδέες από την ανάλυση χρόνου-συχνότητας και εισάγουμε ένα νέο πλεονάζοντα τελεστή ανάλυσης σχετιζόμενο με ένα πλαίσιο Gabor, ώστε να αναπαραστήσουμε όσο αραιότερα γίνεται τα σήματα ενδιαφέροντος. Στη συνέχεια, χρησιμοποιούμε μια επαναληπτική μέθοδο για την επίλυση και των δύο προβλημάτων και συγκρίνουμε αριθμητικά την απόδοση του τελεστή ανάλυσής μας με σύγχρονους τελεστές ανάλυσης Gabor, τόσο σε συνθετικά όσο και σε πραγματικά δεδομένα. Τα πειραματικά μας αποτελέσματα υποδεικνύουν βελτιωμένη απόδοση όταν το προτεινόμενο πλαίσιο χρησιμοποιείται για την επίλυση και των δύο αντίστροφων προβλημάτων, καθώς υπερέχει των άλλων μετασχηματισμών Gabor, για όλα τα δεδομένα. Στο δεύτερο μέρος της διατριβής, επιλύουμε το πρόβλημα ΣΔ χρησιμοποιώντας το νεοεισαχθέν πεδίο της «βαθιάς εκτύλιξης», που πηγάζει από την ερμηνεία των κλασικών επαναλη\-πτικών αλγορίθμων ως βαθιά νευρωνικά δίκτυα. Για να γίνει αυτό, «ξεδιπλώνουμε» τις επαναλήψεις δύο σύγχρονων αλγορίθμων, που παραδοσιακά χρησιμοποιούνται για την επίλυση του αναλυτικής-αραιότητας προβλήματος ΣΔ, σε επίπεδα νευρωνικών δικτύων. Τα παραπάνω μαθαίνουν από κοινού αντίστοιχους αποκωδικοποιητές και πλεονάζοντες τελεστές ανάλυσης για αραιοποίηση. Η κύρια καινοτομία μας αποδίδεται όχι μόνο στην ανάπτυξη αυτών των δύο εκτυλισσόμενων δικτύων, αλλά και στην εκτίμηση του σφάλματος γενίκευσης που προκύπτει από καθένα από αυτά. Προς τούτο, εκμεταλλευόμαστε τεχνικές αλυσιδωτής σύνδεσης, προκειμένου να φράξουμε από πάνω την πολυπλοκότητα Rademacher της κλάσης υποθέσεων κάθε δικτύου. Στη συνέχεια, αξιοποιούμε αυτήν την εκτίμηση ώστε να παράξουμε τα επιθυμητά φράγματα των σφαλμάτων γενίκευσης. Τέλος, διεξάγουμε αρκετά πειράματα που επικυρώνουν τα θεωρητικά μας αποτελέσματα και συγκρίνουμε τα προτεινόμενα εκτυλισσόμενα δίκτυα με ένα άλλο σύγχρονο εκτυλισσόμενο δίκτυο. Όπως αποτυπώνεται από τα πειραματικά μας αποτελέσματα, αμφότερα τα εκτυλισσόμενα δίκτυά μας έχουν καλύτερη απόδοση από το επίπεδο αναφοράς, σταθερά για όλα τα σύνολα δεδομένων.