Εντοπισμός μεταβολών σε δορυφορικά δεδομένα πολύ υψηλής ανάλυσης: συνδυάζοντας τεχνικές αντιστοίχισης, κατάτμησης και ανίχνευσης μεταβολών

Abstract

Nowadays, several new satellite and micro satellite constellations are providing plenty of low cost very high resolution data which can observe, with high temporal frequency and spatial resolution, extended regions of the earth. This stream of spaceborne information can significantly contribute to several crucial engineering and environmental monitoring problems though the detection and recognition of multitemporal changes. However, although change detection is a heavily studied problem, it is not a trivial one and most existing approaches address it through step by step procedures with semi-automated or automated registration, segmentation and change detection algorithms.To this end, in this thesis we introduced a single framework which combines energy terms for tackling image registration, semantic segmentation and change detection tasks, through data-driven costs regarding the semantic segmentation likelihoods (various classification approaches can be employed), registration metrics ( e.g., similarity metrics) and change detection scores. In such a joint framework, all tasks are addressed under a fruitful synergy and interaction resulting to a more generic, yet robust formulation, when comparing with the standard step by step procedures and processing pipelines of the literature. We evaluated the developed methodology on a number of datasets including very high resolution satellite image, video and benchmark stereo datasets achieving state-of-the-art quantitative results.Further additional contributions of this PhD thesis include the design, development and evaluation of new methodologies for tackling the main subcomponents of the problem and in particular: (i) new descriptor-based and deformable registration frameworks for the efficient co-registration of multispectral and hyperspecral datasets, (ii) new semantic segmentation approach that integrates learning through deep architectures and (iii) new unsupervised change detection framework by coupling image registration and change detection priors. All developed methods were quantitatively validated against the state-of-the-art showcasing highly promising results.

Τα τελευταία χρόνια, αρκετοί νέοι δορυφόροι και μικροδορυφόροι παρέχουν πληθώρα δεδομένων πολύ υψηλής χωρικής ανάλυσης σε χαμηλό κόστος, τα οποία παρατηρούν με μεγάλη χρονική και χωρική ανάλυση μεγάλες περιοχές της γήινης επιφάνειας. Αυτή η μεγάλη ροή δορυφορικών δεδομένων Παρατήρησης Γης μπορεί να συνεισφέρει καθοριστικά σε σημαντικά προβλήματα στις επιστήμες μηχανικού και στην παρακολούθηση του περιβάλλοντος μέσα από την ανίχνευση και αναγνώριση των διαχρονικών μεταβολών. Ωστόσο, μολονότι το πρόβλημα της ανίχνευσης μεταβολών έχει μελετηθεί αρκετά από την επιστημονική κοινότητα, δεν αποτελεί ένα εύκολο πρόβλημα και οι προκλήσεις είναι και σήμερα πολλές. Ειδικότερα, οι περισσότερες τεχνικές που προσπαθούν να το αντιμετωπίσουν, βασίζονται στη σταδιακή και σειριακή εφαρμογή εργαλείων, με ημι-αυτόματους ή αυτόματους αλγορίθμους αποτυχάνοντας να προσφερουν γενικευμένες και αυτοματοποιημένες λύσεις.Για το σκοπό αυτό, στην παρούσα διδακτορική διατριβή σχεδιάστηκε και αναπτύχθηκε ένα ενιαίο πλαίσιο το οποίο συνδυάζει επιμέρους συνιστώσες για την αντιμετώπιση των προβλημάτων της αντιστοίχισης, της σημασιολογικής κατάτμησης και της ανίχνευσης μεταβολών. Αυτό υλοποιείται μέσα από την ελαχιστοποίηση συναρτήσεων κόστους που καθορίζονται από τα δεδομένα και ενσωματώνουν πιθανοτητες για αποτελεσματική κατάτμηση (εδώ μπορεί να χρησιμοποιηθούν διάφορες στρατηγικών ταξινόμησης), αντιστοίχιση (εδώ μπορεί να χρησιμοποιηθούν διάφορες μετρικές ομοιότητας) και ανίχνευση μεταβολών. Σε ένα τέτοιο συνδυαστικό πλαίσιο, όλοι οι επιμέρους ενεργειακοί όροι συμμετέχουν σε μια αποδοτική σύμπραξη και αλληλεπίδραση δημιουργώντας μια γενικευμένη και ισχυρή λύση σε αντίθεση με τις σταδιακές, σειριακές εφαρμογές αλγορίθμων της βιβλιογραφίας. Η μεθοδολογία που αναπτύχθηκε, αξιολογήθηκε σε ποικιλία δεδομένων που περιλαμβάνουν πολύ υψηλής ανάλυσης δορυφορικές εικόνες, βίντεο και στερεοσκοπικές εικόνες επιτυγχάνοντας ποσοτικά αποτελέσματα εφάμιλλα με αυτά τεχνικών στην αιχμή της τεχνολογίας.Επιπλέον, η συγκεκριμένη διδακτορική διατριβή συνεισφέρει με την εισαγωγή νέων μεθόδων για την αντιμετώπιση των κύριων συνιστωσών του προβλήματος και συγκεκριμένα με: (i) νέες τεχνικές για αποτελεσματική αντιστοίχιση εικόνων με βάση τοπικούς περιγραφείς και ελαστικές παραμορφώσεις για πολυφασματικά και υπερφασματικά δεδομένα, (ii) νέες τεχνικές σημασιολογικής κατάτμησης που ενσωματώνουν αρχιτεκτονικές βαθιάς εκμάθησης και (iii) νέα τεχνική μη επιβλεπόμενης ανίχνευσης μεταβολών που συνδέει τα προβλήματα της αντιστοίχισης και της ανίχνευσης μεταβολών. ́Ολες οι μέθοδοι που αναπτύχθηκαν, αξιολογήθηκαν ποσοτικά σε σχέση με αντίστοιχες μεθοδολογίες αιχμής, αναδεικνύοντας τις πολλά υποσχόμενες προοπτικές τους για την αντιμετώπιση των επιμέρους προβλημάτων.