Ανάλυση εικόνας και όραση υπολογιστών: θεωρία και εφαρμογές στην αποκατάσταση αρχαίων τοιχογραφιών

Abstract

Our work lies in the area of image analysis and computer vision and is motivated by the problem of digitally restoring the wall paintings excavated at Akrotiri, Thera. Its subject makes it part of a broader recent trend to utilize modern digital technologies in order to facilitate capturing, restoring, studying, and disseminating our cultural heritage. The thesis tackles problems related both to the specific practical needs of the Akrotiri Thera application as well as broader theoretical basic research issues in the direction of developing mathematical models for describing natural images. In this framework, we start by describing the process we followed for the detailed photographic acquisition of a large number of Theran wall paintings. We have addressed the problem of digitally capturing a whole wall painting into a single ultra high resolution composition. Our approach consists of, first, capturing a large number of photographs, each depicting in detail parts of the composition, which we then stitch into a huge photographic mosaic. A web-based interface facilitates browsing through these high resolution panoramic mosaics. This approach, largely automated thanks to the use of modern computer vision techniques, has proven particularly successful and stands out as a practical and effective method for capturing high resolution photographs of artwork without the need for using highly specialized and expensive equipment. With application to the digital restoration of missing parts in the Theran wall paintings, our research has focused on image inpainting, the problem of filling-in missing image parts. In relation to image inpainting, we study two broad classes of image modeling methods. The first class consists of geometric image description methods inspired by physical diffusion processes and formulated as variational or partial differential equation models. Our main novel contribution in this area is the development of fast multigrid algorithms for the numerical solution of nonlinear anisotropic diffusion models, with application not only to image inpainting but also to image segmentation with geometric active contour models. We also propose statistically motivated algorithms for optimal scale selection in the context of image denoising with nonlinear scale-space methods. The thesis also studies a second statistical wavelet-based approach to image inpainting. In this framework, we discuss important statistical properties of natural images in the wavelet representation, captured to a good extent by the multiscale hidden Markov tree (HMT) model which we study in depth. Our main novel contribution in this area is the development of probabilistic image inpainting methods based on the HMT representation. We also propose new algorithms for learning the HMT model parameters from noisy data, with application to image denoising. Through a series of experiments involving the proposed models, we highlight their strengths and weaknesses and discuss possible future improvements. In the thesis Appendix we also discuss another aspect of our doctoral thesis research on audiovisual speech recognition. Our main research contribution in this area is the development of a theoretical framework for optimal adaptive fusion of multimodal data based on careful modeling of the individual feature measurement uncertainty (collaborative work), as well as the development of computer vision techniques for visual speech feature extraction from the speaker’s face.

Η εργασία µας κινείται στην περιοχή της ανάλυσης εικόνων και όρασης υπολογιστών και εµπνέεται από το πρόβληµα της ψηφιακής αποκατάστασης των τοιχογραφιών του Ακρωτηρίου Θήρας. Λόγω της θεµατολογίας της, η εργασία µας εντάσσεται στο ευρύτερο πλαίσιο πρωτοβουλιών για αξιοποίηση σύγχρονων ψηφιακών τεχνολογιών στην καταγραφή, αποκατάσταση, µελέτη, και διάδοση της πολιτισµικής µας κληρονοµιάς. Τα προβλήµατα που πραγµατεύεται η διατριβή κινούνται τόσο στο επίπεδο των πρακτικών αναγκών της συγκεκριµένης εφαρµογής, όσο και στο επίπεδο θεωρητικών ζητηµάτων και θεµάτων ϐασικής έρευνας στην κατεύθυνση ανάπτυξης µαθηµατικών µοντέλων κατάλληλων για την περιγραφή εικόνων του φυσικού κόσµου. Σε αυτό το πλαίσιο, περιγράφουµε καταρχήν τη λεπτοµερή φωτογραφική αποτύπωση σηµαντικού αριθµού από τις τοιχογραφίες του Ακρωτηρίου Θήρας. Η λύση που έχουµε δώσει στο πρόβληµα της αποτύπωσης µιας ολόκληρης τοιχογραφίας σε µία ενοποιηµένη σύνθεση υπερ-υψηλής ανάλυσης συνίσταται στη λήψη µεγάλου πλήθους φωτογραφιών, µε καθεµία από αυτές να απεικονίζει µέρος του τοιχογραφικού συνόλου, µε µετέπειτα συνένωση των επιµέρους στιγµιοτύπων σε ένα γιγαντιαίο φωτογραφικό µωσαϊκό ανά σύνθεση στο οποίο µπορεί εύκολα να περιηγηθεί ο µελετητής των τοιχογραφιών. Η προσέγγιση αυτή, αυτοµατοποιηµένη σε µεγάλο βαθµό χάρη στη χρήση σύγχρονων τεχνικών όρασης υπολογιστών, έχει αποδειχθεί ιδιαίτερα επιτυχηµένη και αναδεικνύεται ως µια πρακτική και ιδιαίτερα αποδοτική µέθοδος φωτογραφικής αποτύπωσης έργων τέχνης, δίχως την ανάγκη ύπαρξης ιδιαίτερα ακριβού εξειδικευµένου εξοπλισµού. Με εφαρµογή την ψηφιακή αποκατάσταση των ελλειπουσών τµηµάτων στις τοιχογραφίες, στο επίκεντρο της ερευνητικής µας προσπάθειας βρίσκεται το πρόβληµα της ενδοσυµπλήρωσης εικόνων, που αναφέρεται στην συµπλήρωση κενών σε εικόνες. Με αναφορά στο πρόβληµα της ενδοσυµπλήρωσης, µελετούµε δύο ευρείες οικογένειες µεθόδων µοντελοποίησης εικόνων. Η πρώτη προσέγγιση συνίσταται σε γεωµετρικές µεθόδους περιγραφής εικόνων εµπνευσµένες από φυσικές διαδικασίες διάχυσης και εκφρασµένες µε φορµαλισµό µεταβολικού λογισµού και µερικών διαφορικών εξισώσεων. Η κύρια πρωτότυπη ερευνητική µας συνεισφορά σε αυτήν την περιοχή συνίσταται στην ανάπτυξη ιδιαίτερα αποδοτικών πολυπλεγµατικών αλγορίθµων για την αριθµητική επίλυση µοντέλων µη γραµµικής ανισοτροπικής διάχυσης, µε εφαρµογή τόσο στο πρόβληµα της ενδοσυµπλήρωσης, όσο και στο πρόβληµα της κατάτµησης εικόνας µε τεχνικές γεωµετρικών ενεργών περιγραµµάτων. Επίσης προτείνουµε αλγορίθµους στατιστικής χροιάς για το ζήτημα της βέλτιστης επιλογής κλίµακας στο πρόβληµα της αποθορυβοποίησης εικόνων. Η δεύτερη προσέγγιση στο πρόβληµα της ενδοσυµπλήρωσης που µελετάµε στη διατριβή συνίσταται στην περιγραφή εικόνων στο πεδίο του µετασχηµατισµού κυµατιδίων, που αποτελεί προνοµιακό πεδίο για την στατιστική περιγραφή εικόνων. Σε αυτό το πλαίσιο συζητάµε τις στατιστικές ιδιότητες φυσικών εικόνων στην κυµατιδιακή αναπαράσταση και µελετάµε σε βάθος το πολυκλιµακωτό δενδρικό µαρκοβιανό HMT στατιστικό µοντέλο που τις περιγράφει ικανοποιητικά. Η κύρια πρωτότυπη ερευνητική µας συνεισφορά σε αυτήν την περιοχή συνίσταται στην ανάπτυξη πιθανοτικών µεθόδων ενδοσυµπλήρωσης βασισµένων στην κυµατιδιακή HMT αναπαράσταση. Επιπλέον προτείνουµε νέους αλγορίθµους για εκπαίδευση των παραµέτρων του HMT µοντέλου από θορυβώδη δεδοµένα, µε εφαρµογή στην αποθορυβοποίηση εικόνας. Με βάση την πειραµατική διερεύνηση των προτεινόµενων τεχνικών, εντοπίζουµε πλεονεκτήµατα και αδυναµίες τους και συζητάµε πιθανές µελλοντικές βελτιώσεις τους. Στο Παράρτηµα της διατριβής συζητάµε τέλος µια άλλη συνιστώσα της διδακτορικής µας έρευνας στην περιοχή της συνδυασµένης οπτικής-ακουστικής αναγνώρισης οµιλίας. Οι ερευνητικές συνεισφορές µας εντοπίζονται στην ανάπτυξη ενός θεωρητικού πλαισίου για βέλτιστη προσαρµοστική σύµµειξη πολυαισθητηριακών δεδοµένων βασισµένη στη διαχείριση της αβεβαιότητας των επιµέρους θορυβωδών µετρήσεων (συνεργατική εργασία), καθώς και στην ανάπτυξη τεχνικών όρασης υπολογιστών για εξαγωγή οπτικών χαρακτηϱιστικών οµιλίας από το πρόσωπο του οµιλητή.