Ακριβής εκτίμηση κίνησης και τεχνικές ανάκτησης υψηλής ανάλυσης σε ψηφιακές εικόνες και βίντεο

Abstract

The object of this thesis concerns high accuracy motion estimation and the enhancement of resolution and definition (super-resolution) in digital images and video. Following an overview of the underlying theory and some basic concepts, two new sub-pixel motion estimation methods are presented, aiming at maximum accuracy. The first of those follows the classic approach of dividing one image into blocks, which are then paired with blocks in another image, arriving at an analytical polynomial expression that defines the motion vectors which minimize the mean squared error. The second motion estimation method presented in this thesis follows a completely different and novel approach, constructing an implied, in-between, image which is then used to calculate motion more accurately, reducing the interpolation error that is inherent in the more classic approaches. In the field of super-resolution the thesis examines three different approaches: kernel regression, dictionary-based, and multi-frame, the latter requiring accurate motion estimation. Selected published methods are reviewed, and a number of alterations and improvements are proposed for each. A new dictionary-based method is also proposed, using a dictionary constructed from the input image itself and focusing on normalization and sorting of the dictionary to facilitate fast and effective search. The presented and proposed methods undergo experimental testing and are compared to each other and with state-of-the art methods. Experimental results on qualitative and quantitative evaluations and comparisons are presented, using both image examples and graphs and tables of the relevant metrics.

Το αντικείμενο της παρούσας διατριβής στρέφεται γύρω από την εκτίμηση κίνησης μεγάλης ακρίβειας και την αύξηση της ανάλυσης και της ευκρίνειας (super-resolution) σε ψηφιακές εικόνες και video. Μετά από μια επισκόπηση της θεωρίας και κάποιων βασικών εννοιών, παρουσιάζονται δύο νέες μέθοδοι sub-pixel εκτίμησης κίνησης, οι οποίες αποσκοπούν στον προσδιορισμό της κίνησης με μέγιστη ακρίβεια. Η πρώτη από αυτές ακολουθεί την κλασική προσέγγιση όπου η μία εικόνα χωρίζεται σε blocks, τα οποία αντιστοιχίζονται σε blocks της άλλης εικόνας, καταλήγοντας όμως σε μια αναλυτική πολυωνυμική σχέση, η οποία προσδιορίζει εκείνα τα διανύσματα κίνησης τα οποία ελαχιστοποιούν το μέσο τετραγωνικό σφάλμα. Η δεύτερη μέθοδος ακολουθεί μια εντελώς διαφορετική και πρωτότυπη προσέγγιση, κατασκευάζοντας μία ενδιάμεση υποθετική εικόνα, η οποία χρησιμοποιείται για τον ακριβέστερο υπολογισμό της κίνησης, μειώνοντας έτσι τα σφάλματα παρεμβολής που είναι εγγενή στις πιο κλασικές προσεγγίσεις. Στον τομέα του super-resolution η διατριβή μελετά τρεις διαφορετικές προσεγγίσεις: με χρήση συναρτήσεων πυρήνα, με χρήση λεξικού, και με χρήση πολλαπλών εικόνων χαμηλής ανάλυσης, η οποία και απαιτεί ακριβή εκτίμηση κίνησης. Παρουσιάζονται επιλεγμένες μέθοδοι της βιβλιογραφίας, πάνω στις οποίες προτείνονται μετατροπές και βελτιώσεις. Προτείνεται μια νέα μέθοδος super-resolution με χρήση λεξικού που κατασκευάζεται από την εικόνα προς ανακατασκευή, η οποία εστιάζει στην κανονικοποίηση και ταξινόμηση του λεξικού για την ταχεία και αποτελεσματική αναζήτηση μέσα του. Οι παρουσιαζόμενες και προτεινόμενες μέθοδοι ελέγχονται πειραματικά και συγκρίνονται μεταξύ τους και με μεθόδους στην αιχμή της τεχνολογίας. Παρατίθενται αποτελέσματα ποιοτικής και ποσοτικής αξιολόγησης και σύγκρισης, τόσο μέσω της απεικόνισης χαρακτηριστικών παραδειγμάτων όσο και με τη βοήθεια πινάκων και γραφημάτων κατάλληλων μετρικών.