Γεωμετρική πληροφορία από μεμονωμένες εικόνες στην φωτογραμμετρία και την όραση υπολογιστών

Abstract

Motivation of this thesis is to investigate the geometry of single perspective images in three main aspects. First, the aim is to further understand this geometry by formulating alternative approaches for certain significant problems, regarding particularly the geometry of the image vanishing points and their relation with the question of camera calibration, on the one hand, and with issues of object reconstruction, on the other. A second important aspect was to carry out this research in the typically Euclidean conceptual framework of Photogrammetry, but at the same time to clearly interpret the relation of the algorithms developed here with corresponding approaches from the field of geometric (computational) Computer Vision, where single images are mainly studied. In this sense, the thesis at the same time presents Euclidean interpretations, useful to Photogrammetry, of methods Computer Vision which, as a rule, rely on projective geometry. Finally, of course, an important goal of this thesis was to implement the theoretical investigation in the form of specific automatic algorithms, in order to thereby demonstrate its direct practical usefulness. Thus, the thesis starts with certain introductory comments regarding similarities and differences between Photogrammetry and Computer Vision, as well as the theoretical and practical significance of projective geometry, while certain fundamental properties of projective geometry, necessary for the following, are also presented. Next, the geometry of an image with three vanishing points of orthogonal space directions and its relation to intrinsic camera geometry as well as to homography are studied, while different algorithms for camera calibration via vanishing points - one of which allows simultaneous estimation of radial-symmetric lens distortion - are evaluated against self-calibrating multi-image bundle adjustment. After this, the geometric properties and the equations which relate camera interior orientation with the vanishing points of two orthogonal directions are formulated. This relation is expressed by the introduction of a geometric locus for the projection centre (“calibration sphere”), which is compared to corresponding projective representations from Computer Vision. On this basis a camera calibration algorithm is formulated and evaluated experimentally, which allows combining different single images with two vanishing points from the same camera. Then the algorithm is generalized for automatic camera calibration using one image with three vanishing points of orthogonal directions or more independent images with at least one pair of vanishing points. The approach is fully automated with the automatic localization of vanishing points on one or more images via a novel technique and a unified least-squares adjustment of observations on all participating images through the line-fitting and “calibration sphere” equations. Results from such automatic calibrations using real data were regarded as satisfactory compared to those from multi-images self-calibration as regards both calibration as well as 3D object reconstruction. The thesis addresses next the question of affine reconstruction of planar objects. The geometry and equations are explained which allow affine reconstruction of uncalibrated images, both frontal and oblique with different orientation, through one single vanishing point. The algorithm (with exclusive metric information a dimension in the direction of the road) is applied and evaluated in cases of vehicle speed measurement from video sequences. In this algorithm moving vehicles are detected and tracked automatically on affine image rectifications, while a shadow detection technique is also incorporated. In this way, it is demonstrated that purely projective approaches have also a direct practical relevance for Photogrammetry. The thesis closes with the conclusions from this research regarding the theoretical and practical significance of single images in different photogrammetric tasks. Finally, certain interesting questions for further investigation are indicated, particularly regarding accuracy issues of the approaches.

Αντικείμενο της παρούσας διατριβής είναι η διερεύνηση της γεωμετρίας της μεμονωμένης προοπτικής εικόνας, με έναν τριπλό στόχο. Κατ’ αρχάς, να κατανοηθεί περαιτέρω η γεωμετρία αυτή με την διατύπωση εναλλακτικών προσεγγίσεων για ορισμένα σημαντικά προβλήματα, ιδιαίτερα όσον αφορά την γεωμετρία των σημείων φυγής της εικόνας και την σχέση τους αφενός με το πρόβλημα της βαθμονόμησης μηχανής και αφετέρου με ζητήματα ανακατασκευής του χώρου. Ο δεύτερος σημαντικός στόχος ήταν η έρευνα αυτή να πραγματοποιηθεί μεν στο τυπικά ευκλείδειο εννοιολογικό πλαίσιο της Φωτογραμμετρίας, αλλά παράλληλα να εξηγηθεί με σαφήνεια η σχέση όσων αλγορίθμων διατυπώνονται εδώ με ανάλογες προσεγγίσεις από τον χώρο της γεωμετρικής (ή υπολογιστικής) Όρασης Υπολογιστών, όπου και κυρίως μελετάται η γεωμετρία της μεμονωμένης εικόνας. Με την έννοια αυτή, η διατριβή διατυπώνει ταυτόχρονα ευκλείδειες ερμηνείες, χρήσιμες για την Φωτογραμμετρία, μεθόδων της Όρασης Υπολογιστών, οι οποίες κατά κανόνα στηρίζονται στην προβολική γεωμετρία. Κύριος στόχος της διατριβής, τέλος, ήταν βέβαια και να υλοποιηθεί η θεωρητική διερεύνηση σε συγκεκριμένους αυτόματους αλγορίθμους, ώστε με αυτόν τον τρόπο να φανεί και η άμεση πρακτική χρησιμότητά της. Έτσι, στην διατριβή υπάρχουν αρχικά ορισμένες εισαγωγικές παρατηρήσεις για τις ομοιότητες και διαφορές Φωτογραμμετρίας - Όρασης Υπολογιστών και την θεωρητική αλλά και πρακτική σημασία της προβολικής γεωμετρίας, ενώ ακόμα παρουσιάζονται ορισμένες θεμελιώδεις ιδιότητες της τελευταίας που είναι αναγκαίες για την συνέχεια της διατριβής. Κατόπιν μελετάται η γεωμετρία εικόνας με σημεία φυγής που αντιστοιχούν σε τρεις ορθογώνιες διευθύνσεις του χώρου, η σχέση της με την γεωμετρία της μηχανής και την ομογραφία, ενώ αξιολογούνται (συγκρινόμενοι με δεδομένα από πολυεικονική συνόρθωση δέσμης με αυτοβαθμονόμηση) διαφορετικοί αλγόριθμοι για την βαθμονόμηση μηχανής μέσω σημείων φυγής, ένας από τους οποίους επιτρέπει να εκτιμάται και η ακτινική διαστροφή του φακού σε ενιαία συνόρθωση. Στην συνέχεια διατυπώνονται οι γεωμετρικές ιδιότητες και οι εξισώσεις που συνδέουν τον εσωτερικό προσανατολισμό εικόνας με τα σημεία φυγής δύο ορθογώνιων διευθύνσεων του χώρου. Ως έκφραση αυτής της σχέσης εισάγεται ο γεωμετρικός τόπος του σημείου λήψης (“σφαίρας βαθμονόμησης”) και συγκρίνεται με αντίστοιχες προβολικές εκφράσεις από την Όραση Υπολογιστών. Βάσει αυτού διατυπώνεται και αξιολογείται πειραματικά αλγόριθμος βαθμονόμησης που επιτρέπει να συνδυάζονται διαφορετικές εικόνες με δύο σημεία φυγής από την ίδια μηχανή. Εν συνεχεία, ο αλγόριθμος γενικεύεται για την αυτόματη βαθμονόμηση μηχανής από μία εικόνα με τρία σημεία φυγής ορθογωνικών διευθύνσεων ή από περισσότερες ανεξάρτητες εικόνες με τουλάχιστον ένα ζεύγος σημείων φυγής. Η μέθοδος αυτοματοποιείται πλήρως με τον αυτόματο εντοπισμό σημείων φυγής σε μία ή και περισσότερες εικόνες μέσω μιας νέας τεχνικής και την ελαχιστοτετραγωνική συνόρθωση σε ένα βήμα των παρατηρήσεων από όλες τις εικόνες μέσω εξισώσεων παρεμβολής ευθείας και “σφαιρών βαθμονόμησης”. Αποτελέσματα της αυτόματης βαθμονόμησης από πραγματικά δεδομένα θεωρήθηκαν ικανοποιητικά, από άποψη βαθμονόμησης αλλά και 3D ανακατασκευής, συγκρινόμενα με εκείνα από συνόρθωση δέσμης. Κατόπιν, η διατριβή πραγματεύεται την αφινική ανακατασκευή επιπέδου. Εξηγείται η γεωμετρία και οι εξισώσεις που επιτρέπουν να επανασυσταθούν αφινικά μέσω ενός μοναδικού σημείου φυγής μη βαθμονομημένες εικόνες, μετωπικές και πλάγιες με διαφορετική γεωμετρία. Ο αλγόριθμος (με μοναδική εξωτερική πληροφορία ένα γνωστό μήκος στην διεύθυνση του άξονα του δρόμου) αξιολογείται με μετρήσεις ταχύτητας οχημάτων από διαδοχικές εικόνες ψηφιακών λήψεων βίντεο. Στον αλγόριθμο αυτόν τα κινούμενα οχήματα εντοπίζονται και παρακολουθούνται εντελώς αυτόματα σε αφινικά ανηγμένες εικόνες, ενώ ενσωματώνεται και τεχνική για να ανιχνεύεται η σκιά κινούμενων αντικειμένων. Έτσι, δείχνεται ότι αμιγώς προβολικές προσεγγίσεις έχουν επίσης άμεσο πρακτικό ενδιαφέρον για την Φωτογραμμετρία. Η εργασία ολοκληρώνεται με τα συμπεράσματα της διατριβής σχετικά με την θεωρητική σημασία όσο και την πρακτική χρησιμότητα μονοεικονικών μεθόδων σε διαφορετικά φωτογραμμετρικά προβλήματα. Τέλος, επισημαίνονται ορισμένα ενδιαφέροντα ερωτήματα για περαιτέρω μελέτη, ιδίως όσον αφορά την διερεύνηση θεμάτων σχετικών με την ακρίβεια των μεθόδων.