Landslide detection and characterization based on OBIA methodology and UAV photogrammetry

Abstract

Modeling natural hazards in 3D space constitute a significant step for managing and planning our living environment. The creation of accurate maps is needed to document the impact of natural hazards such as landslides. Loss of life, natural resources or property transform landslide phenomenon to a natural disaster. In landslide analysis different factors can be incorporated and studied such as landslides occurrence and occurrence, their distribution, mechanisms, pattern of failures. The development of reliable maps is also crucial for determining landslide susceptibility and risk. Late years, the emerging geospatial technologies are able to produce different types of 2D and 3D data. Unmanned Aerial Vehicle (UAV) or Unmanned Aerial Systems (UAS), support the acquisition of ultra-high detailed geospatial data in the 3D environment. Those systems are flexible in data acquisition, with a high temporal frequency, while it is limited for site specific mapping purposes. The exploitation of 3D point-clouds has been proven tremendously efficient for analyzing data in the field of geoscience. Point cloud advantages of documenting in 3D space, data of hazardous sites at low cost and effective performance identifies them as leading primitives for site-specific 3D landslide modelling. Given the gaps between the computer vision capabilities and their applications in landslide assessment in site-specific scale, the thesis aims at developing a general framework of predefined workflows in an object-based programming environment for detection and characterization of landslide phenomena from ultra-high-resolution UAV-derived data. The proposed framework is built up in four distinct research phases: (a) on-site data collection, (b) data preprocessing, (c) OBIA (segmentation and classification), and (d) evaluation. These phases result in various novel component-wise solutions, which particular focus on the optimization phase of OBIA for landslide assessment. Different flight acquisition configurations were tested by varying the number of images, image overlap, flight height and focal length for selecting the optimal workflow for imagery collection always considering the site specifications (topography, landslide mechanism). Each configuration was processed independently with dedicated photogrammetric software following the same template for subjective evaluation. Structure from Motion (SfM) photogrammetry has been used to provide dense 3D point clouds describing surface morphology of landslide environments. An object-based classification approach of the photogrammetric point cloud products into homogeneous and spatially connected elements has been executed. The proposed methodology has been developed based on Object-Based Image Analysis (OBIA) and fusion of multivariate data resulted from photogrammetric processing in order to take full advantage of its productivity. The focus of modeling applications was particularly on landslide with rotational and translational mechanisms of failure. A critical comparative study was conducted to analyze the influence of topographic information, scale segmentation and evaluate the object-based classification of landslide ontologies with three state-of-the-art Machine Learning classifiers, KNN, DT and RF with the inclusion of spectral, spatial, and contextual characteristics. Results highlight higher performances for landslide mapping with RF when DSM information was integrated. Thus, RF presented higher predictive performance when the model was fitted and applied to a different study area. For the ML classification of landslide zones, 60% of the reference segments have been used for training and 40% for validation of the models. The proposed thesis illustrates the effectiveness and efficiency of UAV platforms to acquire accurate photogrammetric datasets from complex surface topographies and provide an efficient and transferable object-based framework to characterize the failure site based on semantic classification of the landslide elements. The outcome can be useful for prioritizing efforts to moderate the adverse consequences of landslides and provide future mitigation strategies following landslide ontologies. UAV-based landslide modelling on the investigated sites provided an amount of undiscovered knowledge for landslide elements. Complementary to the developed workflow the accomplished real-world application, this work has shown the great potential of coupling UAV photogrammetry with object-based methods for assessing the landslide features in different hierarchical scales and provide a detailed automatic classification. In the future, the developed methodology will be further extended and tested on diverse landslide mechanisms, also including engineering geological attributes collected during the field reconnaissance.

Η μοντελοποίηση των φυσικών καταστροφών σε τρισδιάστατο χώρο αποτελεί ένα σημαντικό βήμα για την διαχείριση του οικοσυστήματος στο οποίο ζούμε. Η διαχείριση φυσικών καταστροφών όπως οι κατολισθήσεις απαιτούν σχεδιασμό και προγραμματισμό για την αποφυγή τραυματισμών και ανθρώπινων απωλειών. Διαφορετικοί παράμετροι μοντελοποίησης των κατολισθήσεων έχουν υπολογιστεί όπως η κατανομή τους, οι μηχανισμοί αστοχίας κα. Για να αξιολογηθεί καλύτερα η κατολισθητική επικινδυνότητα και διακινδύνευση αυτών απαραίτητο είναι η δημιουργία αξιόπιστων χαρτών καταγραφής των φαινομένων. Με την εξέλιξη της τεχνολογίας σήμερα μπορούμε να διαφορετικούς τύπους δεδομένων σε 2D και 3D περιβάλλοντα. Μια καινοτομία στην λήψη αεροφωτογραφιών αποτελούν τα Συστήματα μη Επανδρωμένων Αεροσκαφών - ΣΜηΕΑ (UAV), τα οποία βοηθούν σημαντικά στην λήψη 3D δεδομένων, καθώς μειώνουν σημαντικά το κόστος μιας εργασίας σε σύγκριση με συμβατικές μεθόδους. Η ανάπτυξη της Τηλεπισκόπισης και των εφαρμογών της δίνουν τη δυνατότητα χρήσης δεδομένων εξαγωγής πολύ υψηλής ανάλυσης (ορθοφωτογραφία, μοντέλο εδάφους, κα). Παρατηρώντας τις δυνατότητες της “υπολογιστικής δύναμης” και των εφαρμογών σε θέματα κατολισθήσεων, η παρούσα διατριβή επιδιώκει να αναπτύξει μια μεθοδολογία βασισμένη σε αντικειμενοστραφή ανάλυση εικόνας και τη χρήση των πρωτογενών δεδομένων από πτήσεις με ΣΜηΕΑ. η οποία θα αποτελεί εργαλείο εκτίμησης των κατολισθητικών φαινομένων. Συγκεκριμένα, η παρούσα διατριβή χτίστηκε σε τέσσερις διακριτούς πυλώνες οι οποίοι είναι οι εξής: (α) επι-τόπου συλλογή δεδομένων, (β) προ-επεξεργασία δεδομένων και προετοιμασία επιπέδων ανάλυσης, (γ) αντικειμενοστραφής ανάλυση εικόνας (κατάτμηση και ταξινόμηση) και το τελικό στάδιο (δ) αξιολόγηση. Η αντικειμενοστραφής ανάλυση εικόνας (OBIA) επιτρέπει την ενσωμάτωση επιπρόσθετων μεταβλητών όπως υφή, σχήμα, περιεχόμενο καθώς άλλων γνωστικών πληροφοριών με σκοπό τη βελτίωση των ταξινομήσεων. Η εφαρμογή της αντικειμενοστραφούς ανάλυσης σε θέματα φυσικών καταστροφών προέκυψε μετά την εμφάνιση εικόνων πολύ υψηλής χωρικής ανάλυσης και από την ανάγκη για την εύρεση μιας μεθοδολογίας η οποία να μιμείται την ανθρώπινη αναλυτική σκέψη. Με τη χρήση της αντικειμενοστραφούς ανάλυσης εικόνων επιδιώκεται η δημιουργία μιας βάσης γνώσης με την οποία θα μπορεί να γίνει αυτόματη εξαγωγή της κατολισθητικής πληροφορίας. Δοκιμάστηκαν διαφορετικά σετ απόκτησης εικόνων μεταβάλλοντας τον αριθμό των εικόνων, το ποσοστό επικάλυψη, το ύψος πτήσης και την εστιακή απόσταση, πάντα λαμβάνοντας υπόψη τις εκάστοτε λεπτομέρειες της περιοχής μελέτης (τοπογραφία, μηχανισμός κατολίσθησης). Δημιουργήθηκαν αρχικά τα κατάλληλα επίπεδα κατάτμησης για κάθε σετ δεδομένων ώστε να αναπτυχθεί η βέλτιστη ταξινόμηση των διαφορετικών εικονο-αντικειμένων για κάθε περιοχή μελέτης. Στα πλαίσια της βελτιστοποίησης της κατάτμησης των δεδομένων διαφορετικά τεστ πραγματοποιήθηκαν αφού προηγήθηκε εκτενής βιβλιογραφική ανασκόπηση των υπάρχοντών εφαρμογών και αλγορίθμων. Μετά την ολοκλήρωση της διαδικασίας της κατάτμησης, την συνένωση των στοιχειών με σκοπό την δημιουργία σημασιολογικών αντικειμένων, ακολουθεί η διαδικασία της ταξινόμησης. Στο επίπεδο αυτό, διαφορετικές μέθοδοι εξετάστηκαν όπως η χρήση τριών αλγορίθμων (KNN, DT και RF) που ανήκουν στην κατηγορία της Τεχνητής Νοημοσύνης καθώς και με την χρήση συναρτήσεων συμμετοχής (membership functions) οι οποίες στηρίζουν την λειτουργία τους στην φιλοσοφία της ασαφούς λογικής. Αν και η ανάλυση μέσω Τεχνητής Νοημοσύνης και ΟΒΙΑ, απαιτεί μεγάλο πλήθος δεδομένων και ισχυρές επεξεργαστικές δυνατότητες, υπάρχουν πολλά περισσότερα πλεονεκτήματα σε σχέση με τις συμβατικές μεθόδους ανάλυσης σε επίπεδο εικονοστοιχείου. Τέλος, ακολουθήθηκαν διαδικασίες αξιολόγησης όπου εντοπίστηκαν σφάλματα τα οποία έχουν πραγματοποιηθεί κατά την ανάθεση ενός αντικειμένου σε μια κατηγορία και εξάχθηκαν τα τελικά αποτελέσματα. Η μοντελοποίηση κατολισθήσεων εξήγαγε σημαντική πληροφορία που με τις υπάρχουσες μεθοδολογίες δεν ήταν εφικτό. Η παρούσα μέθοδος διαφοροποιείται από τις προηγούμενες μεθόδους ταξινόμησης κυρίως όσον αφορά την τελική μορφή των εξαγόμενων μοντέλων. Η παρούσα διατριβή, παρουσιάζει την αποτελεσματικότητα των ΣΜηΕΑ να συλλέξουν αξιόπιστα δεδομένα για την βέλτιστη ανάλυση των κατολισθητικών φαινομένων σε δύσκολα περιβάλλοντα μέσω της μεθόδου της αντικειμενοστραφούς ανάλυσης εικόνας.