Υπολογιστική νοημοσύνη - διαχείριση οπτικής πληροφορίας

Abstract

In recent decades, the advancement of technology in visual information recording systems has allowed the easy and massive collection of visual information, making its immediate management very important, especially in terms of identification. The almost instantaneous raw and high-dimensional visual information recorded in the form of pixels, in many cases needs to be recognized aiming at the extraction of lower-dimensional usable information depending on the purpose of each application. The recognition of visual information, in practice, consists of a set of methods for the analysis of the image pixels towards the automation of specific processes. Such processes may be related to the classification or retrieval of images, the detection of objects in images, objects labeling or subjects identification in them, finding specific parts of objects in images, etc.Oriented towards the management of visual information under such recognition procedures, this thesis research work included the development of intelligent computer vision techniques in digital image recognition problems and automatic optimization methods on convolutional neural networks, which are now comprising of effective tools for visual information recognition. Regarding the development of smart techniques, the element of locality of visual information was used as well as spectral techniques for its compression with applications in face and fingerprint recognition. Afterwards, techniques which are making use of non-parametric statistics on texture classification problems were examined.As convolutional neural network (CNN) technology became established to be a dominant technology relevant to visual information understanding, emphasis was placed on its exploitation. However, although there are high-quality CNN implementations in modern high-performance computing systems, in various areas of medium and low performance systems (e.g., smart cars, Internet of Things, medical devices, etc.) the development of special CNN architectures is required to operate under resource and energy constraints. In the context of this research work, a method was proposed for the dynamic optimization, in terms of energy consumption and execution speed, of pre-trained CNNs, with appropriate transformations in their structure. In the generated dynamic CNNs, only the kernels which are useful for processing the given input data at a time are activated and computed, offering great savings in the execution time as well as in the CNN's energy consumption. However, as the development of such networks requires specialized optimized software which must allow the dynamic changes on the behaviour of the CNN kernels, the research shifted to the field of searching for optimal ways for the development of such software, especially in heterogeneous embedded systems.

Τις τελευταίες δεκαετίες η πρόοδος της τεχνολογίας σε συστήματα καταγραφής οπτικής πληροφορίας επέτρεψε την εύκολη και μαζική συλλογή οπτικής πληροφορίας, καθιστώντας πολύ σημαντική την άμεση διαχείρισή της, κυρίως υπό όρους αναγνώρισης. Η σχεδόν στιγμιαία ακατέργαστη και μεγάλης διαστατικότητας, καταγεγραμμένη σε μορφή εικονοστοιχείων, οπτική πληροφορία, σε πληθώρα περιπτώσεων χρειάζεται να αναγνωριστεί στοχεύοντας στην εξαγωγή αξιοποιήσιμης πληροφορίας χαμηλότερης διαστατικότητας, ανάλογα με το αντικείμενο της εκάστοτε εφαρμογής. Η αυτή αναγνώριση της οπτικής πληροφορίας, στην πράξη αποτελείται από ένα σύνολο μεθόδων ανάλυσης των εικονοστοιχείων των εικόνων, προς την αυτοματοποίηση συγκεκριμένων διεργασιών. Τέτοιες διεργασίες μπορεί να αποτελούν διαδικασίες ταξινόμησης ή ανάκτησης εικόνων, ανίχνευσης αντικειμένων μέσα στις εικόνες, επισήμανσης αντικειμένων ή θεμάτων σε αυτές, εύρεσης συγκεκριμένων τμημάτων αντικειμένων στις εικόνες κ.α.Με προσανατολισμό στη διαχείριση της οπτικής πληροφορίας, το αντικείμενο έρευνας αυτής της διατριβής περιελάμβανε την ανάπτυξη τεχνικών και μεθοδολογιών υπολογιστικής όρασης σε προβλήματα αναγνώρισης ψηφιακών εικόνων και βελτιστοποίησης συνελικτικών νευρωνικών δικτύων, τα οποία αποτελούν πλέον αποτελεσματικές μεθόδους αναγνώρισης της οπτικής πληροφορίας. Σε ό,τι αφορά την ανάπτυξη των σχετικών τεχνικών και μεθοδολογιών, χρησιμοποιήθηκε το στοιχείο της τοπικότητας της οπτικής πληροφορίας καθώς και φασματικές τεχνικές για τη συμπίεσή της, με εφαρμογές στην ταξινόμηση υφής, την αναγνώριση προσώπου και την πιστοποίηση δακτυλικών αποτυπωμάτων. Εξετάστηκαν επίσης τεχνικές αξιοποίησης μη παραμετρικών στατιστικών στα παραπάνω πεδία έρευνας οδηγώντας σε ένα γενικευμένο πλαίσιο διαχείρισης πληροφορίας που με μικρές εξειδικευμένες ανά περίπτωση παραλλαγές, μπορεί να εφαρμοστεί και σε διαφορετικά πεδία και προβλήματα.Καθώς η τεχνολογία των συνελικτικών νευρωνικών δικτύων (ΣΝΔ) καθιερώθηκε αργότερα ως μια κυρίαρχη τεχνολογία σχετική με θέματα κατανόησης της οπτικής πληροφορίας, η αξιοποίησή της αποτέλεσε ουσιαστικό κομμάτι της διατριβής. Ωστόσο, παρότι σήμερα υπάρχουν ποιοτικές και αξιόπιστες υλοποιήσεις ΣΝΔ στα σύγχρονα υπολογιστικά συστήματα υψηλών δυνατοτήτων, σε ποικίλες περιπτώσεις συστημάτων χαμηλών και μέσων δυνατοτήτων (π.χ. έξυπνα αυτοκίνητα, διαδίκτυο των πραγμάτων, ιατρικές συσκευές κ.τ.λ.) απαιτείται η ανάπτυξη ΣΝΔ με εξειδικευμένες αρχιτεκτονικές ώστε να μπορούν να λειτουργούν με περιορισμούς σε θέματα πόρων και ενέργειας. Στα πλαίσια της ερευνητικής δουλειάς προτάθηκε μια μέθοδος για τη δυναμική βελτιστοποίηση προεκπαιδευμένων ΣΝΔ, με κατάλληλες μετατροπές στη δομή τους, σε ό,τι αφορά ζητήματα κατανάλωσης ενέργειας και ταχύτητας εκτέλεσης. Στα παραγόμενα δυναμικά ΣΝΔ, μόνο τα φίλτρα τα οποία είναι χρήσιμα για την επεξεργασία των δεδομένων εισόδου κάθε φορά ενεργοποιούνται και υπολογίζονται, προσφέροντας μεγάλη οικονομία στο χρόνο εκτέλεσης καθώς και στην ενέργεια κατανάλωσής τους. Καθώς όμως η ανάπτυξη τέτοιων δικτύων απαιτεί εξειδικευμένο βελτιστοποιημένο λογισμικό, όπου πρέπει να καθίσταται δυνατή η δυναμική αλλαγή συμπεριφοράς των πυρήνων των ΣΝΔ με τα αντίστοιχα υπολογιστικά οφέλη, η έρευνα μετατοπίστηκε και στο πεδίο αναζήτησης τρόπων για ανάπτυξη τέτοιου λογισμικού και δη μάλιστα σε ετερογενή ενσωματωμένα συστήματα.