Αναγνώριση προτύπων σε εικόνες και ακολουθίες πολυμέσων με δομές πολλαπλότητας

Abstract

Images and multimedia data are intrinsically characterized by high dimensionality. At the same time, applications that utilize such data are often based on the estimation of a smaller number of macroscopic parameters that constitute the schematic information of the data. From a geometric perspective, the above remark translates to the fact that data characterized by the same set of macroscopic parameters lie on multidimensional and non-linear geometrical structures, within the primary data space, called manifolds. During the past decade, the field of pattern recognition has witnessed a systematic effort to develop effective methods for manifold learning, especially for applications on image and multimedia data. At the same time, recent advances in other fields of computer science have offered new tools and perspectives into manifold learning, as well as in addressing of non-linear relations between primary data and schematic content in pattern recognition applications in general.The subject of this thesis is the utilization of cotemporary manifold learning techniques and modern tools from disciplines such as graph theory and redundant representations, in pattern recognition and analysis of image and multimedia data. Exploitation of the intrinsic geometric structure of the data is studied both at the level of local manifold, where the geometrical properties of local features from individual signals are analyzed, and the level of global manifold where more general manifold structures characterizing signals of specific nature are considered. A wide range of applications were studied, spanning from biometrics (face recognition, signature recognition, action recognition) to biomedical imaging, where methods for classification of images from fluorescence microscopy are proposed. For each application a complete system is presented, properly utilizing the information of manifold structures, while several new descriptors and data encoding schemes were developed, where necessary. Furthermore, novel manifold-to-manifold distance measures are proposed for the comparison of local manifold structures in pattern recognition and analysis applications.

Τα δεδομένα εικόνας και πολυμέσων χαρακτηρίζονται ενδογενώς από υψηλή διαστατικότητα. Ταυτόχρονα όμως, οι εφαρμογές που αξιοποιούν τέτοιου είδους δεδομένα βασίζονται στην εκτίμηση ενός πολύ μικρότερου αριθμού μακροσκοπικών παραμέτρων που καθορίζουν το περιεχόμενο των δεδομένων και συνιστούν τη σημασιολογική πληροφορία που αυτά φέρουν. Από γεωμετρικής σκοπιάς η παρατήρηση αυτή σημαίνει πως τα δεδομένα που εξετάζονται από ένα δεδομένο πρόβλημα ανάλυσης και αναγνώρισης προτύπων και χαρακτηρίζονται από το ίδιο σύνολο μακροσκοπικών παραμέτρων, κείνται επάνω σε πολυδιάστατες και μη-γραμμικές γεωμετρικές δομές εντός του χώρου των πρωτόγεννων δεδομένων, που ονομάζονται πολλαπλότητες. Κατά την τελευταία δεκαετία στο πεδίο της αναγνώρισης προτύπων συντελείται μία συστηματική προσπάθεια για την ανάπτυξη αποτελεσματικών μεθόδων που έχουν σαν στόχο την εκμάθησης τέτοιων δομών πολλαπλότητας σε δεδομένα εικόνας και πολυμέσων. Ταυτόχρονα, οι τελευταίες εξελίξεις σε άλλους κλάδους της πληροφορικής έχουν προσφέρει νέα εργαλεία και προσεγγίσεις στο πρόβλημα της εκμάθησης δομών πολλαπλότητας, και γενικότερα στη διαχείριση των μη-γραμμικών συσχετίσεων ανάμεσα στα πρωτογενή δεδομένα και το σημασιολογικό περιεχόμενο αυτών, για την αποτελεσματικότερη επίλυση προβλημάτων αναγνώρισης προτύπων.Αντικείμενο της παρούσης διατριβής είναι η αξιοποίηση σύγχρονων μεθόδων εκμάθησης πολλαπλότητας, καθώς και εργαλείων από άλλα επιστημονικά πεδία όπως η θεωρεία γράφων και οι πλεονάζουσες αναπαραστάσεις, σε εφαρμογές αναγνώρισης προτύπων και ανάλυσης εικόνων και πολυμεσικών δεδομένων. Η αξιοποίηση της ενδογενούς γεωμετρικής δομής των δεδομένων μελετάται τόσο σε επίπεδο τοπικής πολλαπλότητας, όπου εξετάζεται η γεωμετρική δομή τοπικών χαρακτηριστικών των σημάτων, όσο και σε επίπεδο καθολικής πολλαπλότητας όπου γίνεται η θεώρηση της γενικής πολλαπλότητας στην οποία ανήκει το σύνολο των σημάτων με συγκεκριμένα χαρακτηριστικά. Οι εφαρμογές που μελετώνται εκτείνονται από τη βιομετρία (αναγνώριση προσώπου, υπογραφής και δραστηριότητας) έως την ιατρική πληροφορική όπου αναπτύσσονται μέθοδοι ταξινόμησης εικόνων φθορίζουσας μικροσκοπίας. Για κάθε εφαρμογή προτείνονται ολοκληρωμένα συστήματα που αξιοποιούν κατάλληλα την πληροφορία των δομών πολλαπλότητας, ενώ ταυτόχρονα αναπτύσσονται νέοι περιγραφείς και τεχνικές αναπαράστασης των πρωτογενών δεδομένων όπου αυτό κρίνεται απαραίτητο. Τέλος προτείνονται πρωτότυπα μέτρα απόστασης ανάμεσα σε δομές τοπικής πολλαπλότητας, για την αξιοποίηση σε εφαρμογές ανάλυσης και αναγνώρισης προτύπων.