Georeferencing procedures for oblique aerial images

Abstract

Although vertical aerial images have played the leading role in photogrammetric applications for more than a century, in recent years oblique aerial images have gained popularity, mainly because of certain fundamental advantages they provide compared to nadir views, in combination with the progress made in photogrammetric and computer vision algorithms that enable their automatic processing. The main subject of this dissertation is the metric exploitation of datasets containing oblique aerial images, with emphasis on the establishment of automatic georeferencing algorithms, both in terms of exterior orientation estimation and in terms of image-to-ground 2D transformation, i.e., polynomial/projective transformation that approximates the relationship between each image and the ground reference system. Furthermore, it investigates how the automatic extraction of elements describing the geometry of the scene depicted in oblique aerial images contributes in their metric exploitation, focusing on georeferencing procedures. All methods developed throughout this dissertation, both for single images and for multi-image datasets, do not require any knowledge of approximate positioning and orientation data (e.g., from onboard sensors), so that they can also be applied in cases where such data are not available (e.g., amateur images from unmanned aerial vehicles, old datasets). Moreover, they require minimum user interaction, being in principle easily adoptable by operators without expertise or even basic knowledge of photogrammetry. Several experiments with different datasets of oblique aerial images are conducted through developed software solutions that implement the proposed algorithms. In addition, error analysis, investigation of the impact of different variables on the results of each method and their comparison with those obtained by well-known existing software packages are performed. Specifically, an algorithm for automatic rough georeferencing of large datasets of multi-perspective oblique and vertical aerial images of the same unknown interior orientation and flying height is established, in terms of estimating the 2D transformation from each image to the ground reference system, along with image rectification as well as extraction of the ground footprints of the images. The method requires the measurement of a minimum number of points of known horizontal coordinates in one image. Also, the geometry of oblique aerial images of man-made environments favors the automatic extraction of points lying on planes as well as sets of parallel lines, mainly horizontal and vertical ones, and thereby the automatic detection of vanishing points. The research conducted throughout this dissertation proves that knowledge of these quantities, i.e., coplanar points as well as horizontal and vertical lines and corresponding vanishing points, may be used for rough georeferencing purposes and metric exploitation of single oblique images. In this context, automatic methods for detecting coplanar points and vanishing points in oblique aerial images are introduced; exterior orientation techniques that adopt these methods are established; a method for automatic transfer of coplanar GCPs in multiple images based on their measurements in a single image, for exterior orientation estimation purposes, is proposed; a 2D georeferencing framework for images of a piecewise planar scene is introduced; and a method for measuring vertical and horizontal distances from a single unoriented oblique image is presented. Furthermore, robust photogrammetry-based incremental and global structure from motion (SfM) workflows that can be applied in challenging datasets of oblique aerial images are established. The developed SfM algorithms eliminate all erroneous feature points through combination of multiple geometric constraints and a robust iterative bundle adjustment framework, which improves the accuracy of the exterior orientation results. Finally, a scale-based weighting strategy for feature point observations in bundle adjustment is introduced, targeted to highly overlapping oblique imagery.

Η ραγδαία πρόοδος που σημειώθηκε τα τελευταία χρόνια στην ψηφιακή τεχνολογία δημιούργησε τις προϋποθέσεις για την εντυπωσιακή εξέλιξη των επιστημονικών περιοχών της φωτογραμμετρίας και της όρασης υπολογιστών. Το γνωστικό τους πεδίο διευρύνεται συνεχώς και οι μεθοδολογίες τους αναμορφώνονται και εξελίσσονται ώστε να ικανοποιούν τις απαιτήσεις των σύγχρονων εφαρμογών. Έτσι, ενώ στο παρελθόν η διαδικασία εξαγωγής μετρητικής πληροφορίας από αεροφωτογραφίες στηριζόταν σχεδόν αποκλειστικά σε κατακόρυφες εναέριες λήψεις, τα τελευταία χρόνια οι πλάγιες εναέριες εικόνες ήλθαν στο προσκήνιο και αποτελούν όχι μόνο ένα συμπληρωματικό σύνολο δεδομένων για τις παραδοσιακές κατακόρυφες εικόνες, αλλά και τη βασική πηγή πληροφοριών για διάφορες εφαρμογές. Προς αυτή την κατεύθυνση, έχει διεξαχθεί σημαντική έρευνα για εφαρμογές οι οποίες αξιοποιούν σύνολα πλάγιων εναέριων εικόνων κυρίως από μετρητικές φωτομηχανές ή συστήματα πολλαπλών φωτομηχανών, υπό την προϋπόθεση ύπαρξης δεδομένων γεωαναφοράς από αισθητήρες καταγραφής θέσης και αδρανειακούς αισθητήρες (GNSS/INS) και πολυεικονικών μετρήσεων σημείων γνωστών συντεταγμένων. Ωστόσο, η έρευνα που έχει διεξαχθεί σχετικά με τη μετρητική αξιοποίηση πλάγιων εναέριων εικόνων που δεν συνοδεύονται από δεδομένα θέσης και προσανατολισμού και διαθέτουν ελάχιστο αριθμό σημείων γνωστών συντεταγμένων χωρίς καλή κατανομή είναι πολύ περιορισμένη. Ταυτόχρονα, η γεωαναφορά τους αποτελεί μια πολύ σημαντική διαδικασία που είναι προαπαιτούμενη για την πλειονότητα των φωτογραμμετρικών εφαρμογών. Στο πλαίσιο αυτό και υπό το πρίσμα των ανωτέρω εξελίξεων, στόχος της διδακτορικής διατριβής είναι η ανάπτυξη αλγορίθμων φωτογραμμετρίας και όρασης υπολογιστών για τη μετρητική αξιοποίηση πλάγιων εναέριων εικόνων, με έμφαση σε διαδικασίες γεωαναφοράς πλάγιων εικόνων και συνδυασμένων συνόλων κατακόρυφων και πλάγιων εικόνων πολλαπλών προοπτικών, που στηρίζονται στον ελάχιστο δυνατό αριθμό μετρήσεων και δεν απαιτούν τη χρήση προσεγγιστικών δεδομένων θέσης και προσανατολισμού (π.χ. από αισθητήρες GNSS/INS), ώστε να είναι εφαρμόσιμοι και στην περίπτωση κατά την οποία τέτοιου είδους δεδομένα δεν είναι διαθέσιμα (π.χ. εικόνες από ερασιτεχνικά μη επανδρωμένα αερoσκάφη, παλιά σύνολα δεδομένων). Η γεωαναφορά επιτυγχάνεται είτε μέσω υπολογισμού του μετασχηματισμού κάθε εικόνας στο επίγειο σύστημα αναφοράς είτε μέσω υπολογισμού των παραμέτρων εξωτερικού προσανατολισμού κάθε εικόνας. Επίσης, η γεωμετρία των πλάγιων εναέριων εικόνων ενός δομημένου περιβάλλοντος ευνοεί τον αυτόματο εντοπισμό κατακόρυφων και οριζόντιων γραμμών και αντίστοιχων σημείων φυγής, όπως επίσης και σημείων που κείνται σε επίπεδα. Στο πλαίσιο αυτό, επιμέρους στόχος της διδακτορικής διατριβής είναι η διερεύνηση της συμβολής της αυτόματης εξαγωγής γεωμετρικών στοιχείων της σκηνής που απεικονίζεται σε πλάγιες εναέριες εικόνες στη γεωαναφορά αυτών και στη μέτρηση οριζόντιων και κατακόρυφων αποστάσεων σε μεμονωμένες πλάγιες εναέριες εικόνες. Οι ανωτέρω στόχοι εκπληρώθηκαν με την ανάπτυξη αλγορίθμων υψηλού βαθμού αυτοματοποίησης, οι οποίοι επιτρέπουν τη χρήση τους και σε χρήστες χωρίς εμπειρία ή βασικές γνώσεις φωτογραμμετρίας και συμβάλλουν στην ένταξη των πλάγιων εναέριων εικόνων στις κλασικές φωτογραμμετρικές διαδικασίες.