Ανάπτυξη συστημάτων νευρωνικών πολυταξινομητών για αναγνώριση αντικειμένων και εφαρμογή τους στη ρομποτική όραση

Abstract

This dissertation is concerned with the development of an automatic handling and assembling system combining the use of a fixed base manipulator with an image processing and recognition system. To this end, the recognition of objects in the working environment of the manipulator is of paramount importance and guides the development of the work in this thesis. The recognition system uses a two-dimensional image representation of the objects and extracts appropriate object features, while in a second level a classification scheme is used in order to recognize the objects. New object feature vectors are proposed, which are based on the polygon approximation of the object shape and a new neural multi-classifier scheme is proposed aiming at the enhancement of the recognition accuracy. Basic components of the recognition system are image preprocessing, feature vector extraction and object classification. During the image preprocessing phase the various objects are initially detected and in the sequel transformed so that useful parameters (centres of holes, area, center of area, perimeter, rotation angle) can be calculated. These parameters are in the sequel used in order to derive useful feature vectors, or are used as supplemental information for the guidance of the manipulator. Feature extraction is based on descriptors that use one dimensional representation of the surrounding line of a 2-dimensional figure, aiming at the production of reliable features with low computational cost. Descriptors are based on geometrical features, on statistical moments and on polygon approximation of object shapes. This way, three independent feature vectors are formed, which are invariant to the position, the size and the orientation of image objects. The first vector is composed of three complementary geometrical features based on the area of the figure its perimeter and the distances of the contour points to the center of area. The second vector is formed by using scaled normalized central moments, which arrive from statistical moments and do not suffer from the exponential growth presented by high order moments. The last vector is composed of features produced by a stepwise polygon approximation method, which was derived in this dissertation aiming at the real time extraction of reliable features. Stepwise polygon approximation offers a satisfactory solution to the problem of optimally determining a polygon with predefined number of edges able to approximate a given shape contour. The proposed methodology is particularly useful in situations that time of computation is critical. It uses a technique of repeating approximations with successively reducing input data points. Following this procedure two feature vectors are extracted, which use the angles of the approximating polygon and the successive approximation errors. These errors are defined to be the ratio of the initial contour length to the length of an edge determined by two successive vertexes of the polygon. The two features are invariant to space, magnitude and orientation of the shape they describe. Therefore, are mighty features and can be used either independently or in combination with other features in 2-dimensional shape recognition applications. In the last stage of the recognition procedure, a multi-classifier scheme is proposed, which is based on neural classifiers and comprises two levels. In the first level, neural classifiers are trained to perform independently of each other, based on different feature vectors. In the second level the final classification is performed, combining the outputs of the first level classifiers and using a simplified layout of small neural networks. More specifically, a low order neural network is assigned to all similar output classes of the independent first level classifiers and is trained to perform the final classification. This way, the ability of each first level classifier to differentiate its results based on the appearance of non-trained data is better taken into consideration in the final judgment. The proposed architecture is of low complexity presenting at the same time high recognition rates. Moreover, it requires small number of training cycles, making thus the recognition scheme appropriate for demanding classification applications, where in a changing environment the system needs retraining during its operation. The performance of the proposed multi-classifier architecture is tested and compared to other existing techniques based on an adequate number of digitally modified patterns. Finally, the proposed methodologies are tested by building a robotic vision application experiment using the existing industrial manipulator of the laboratory of automatic control systems and robotics of Democritus University of Thrace.

Στα πλαίσια της παρούσας διατριβής έχει αναπτυχθεί ένα σύστημα χειρισμού και συναρμολόγησης, το οποίο βασίζεται στην οπτική αναγνώριση των αντικείμενων που βρίσκονται στον χώρο εργασίας ενός ρομποτικού βραχίονα. Το σύστημα αναγνώρισης λειτουργεί βάση της δισδιάστατης αναπαράστασης των αντικειμένων, προκειμένου να παράγει διανύσματα χαρακτηριστικών που οδηγούνται σε ένα σύστημα νευρωνικού πολυταξινομητή το οποίο εκπαιδεύεται ώστε να εκτελεί τη διαδικασία ταξινόμησης των αντικειμένων, οδηγώντας το χειρισμό τους από το ρομποτικό βραχίονα. Τα βασικά στάδια του συστήματος αναγνώρισης είναι η προεπεξεργασία εικόνας, η εξαγωγή διανυσμάτων χαρακτηριστικών και διαδικασία ταξινόμησης. Στο στάδιο της προεπεξεργασίας εικόνας γίνεται ο εντοπισμός των επιμέρους σχημάτων από τα οποία αποτελείται, ο μετασχηματισμός των σχημάτων σε μορφή χρήσιμη προς αναγνώριση και ο υπολογισμός βασικών παραμέτρων του κάθε σχήματος (οπές, κέντρο βάρους, εμβαδόν, περίμετρος, γωνία περιστροφής κ.α.). Οι παράμετροι αυτοί χρησιμοποιούνται τόσο στην παραγωγή διανυσμάτων χαρακτηριστικών όσο και στα συστήματα χειρισμού αντικειμένων. Η εξαγωγή των διανυσμάτων χαρακτηριστικών βασίζεται σε περιγραφείς που χρησιμοποιούν τη μονοδιάστατη αναπαράσταση της περιβάλλουσας ενός δισδιάστατου σχήματος, με κύριο στόχο τη παραγωγή ικανών χαρακτηριστικών με χαμηλό υπολογιστικό κόστος. Οι περιγράφεις στηρίζονται στα γεωμετρικά χαρακτηριστικά, τις στατιστικές ροπές και τις πολυγωνικές προσεγγίσεις των σχημάτων. Έτσι σχηματίζονται τρία ανεξάρτητα διανύσματα χαρακτηριστικών τα οποία είναι αμετάβλητα της θέσης, του μεγέθους και του προσανατολισμού των σχημάτων. Το πρώτο διάνυσμα αποτελείται από τρία συμπληρωματικά γεωμετρικά χαρακτηριστικά που στηρίζονται στο εμβαδόν, τη περίμετρο και τις αποστάσεις από το κέντρο βάρους της περιβάλλουσας του σχήματος. Το δεύτερο διάνυσμα σχηματίζεται με τη χρήση των μονοδιάστατων κλιμακωτών κανονικοποιημένων κεντρικών ροπών, οι οποίες προέρχονται από τις στατιστικές ροπές και παρουσιάζουν το πλεονέκτημα της μη εκθετικής αύξησης των ροπών ανώτερης τάξης. Το τελευταίο διάνυσμα αποτελείται από χαρακτηριστικά που παράγονται από τη Πολυγωνική Προσέγγιση σε Στάδια, η οποία είναι μία μέθοδος πολυγωνικής προσέγγισης σχημάτων και αναπτύχθηκε με στόχο την εξαγωγή ικανών χαρακτηριστικών με χαμηλό υπολογιστικό κόστος, ώστε να μπορεί να χρησιμοποιηθεί σε εφαρμογές πραγματικού χρόνου. Η Πολυγωνική Προσέγγιση σε Στάδια προσφέρει μια ικανοποιητική λύση στο πρόβλημα της προεπιλογής του αριθμού των πλευρών ενός πολυγώνου το οποίο θα προσεγγίσει το περίγραμμα ενός σχήματος, ιδιαίτερα στις περιπτώσεις εκείνες όπου ο χρόνος υπολογισμού είναι ένας κρίσιμος παράγοντας, χρησιμοποιώντας μια τεχνική επαναλαμβανόμενων προσεγγίσεων με διαδοχικά μειούμενο πλήθος δεδομένων εισόδου. Με τη μέθοδο αυτή εξάγονται δύο διανύσματα χαρακτηριστικών που στηρίζονται στις γωνίες του εξαγόμενου πολυγώνου και στα σφάλματα προσέγγισης τα οποία ορίζονται ως ο λόγος του αρχικού μήκους της περιβάλλουσας σε σχέση με το μήκος της πλευράς για δύο διαδοχικά σημεία του πολυγώνου. Τα διανύσματα αυτά είναι ανεξάρτητα των μεταβολών θέσης, μεγέθους και περιστροφής του σχήματος. Επίσης συνιστούν ισχυρά χαρακτηριστικά και μπορούν χρησιμοποιηθούν ανεξάρτητα ή σε συνδυασμό με αλλά χαρακτηριστικά σε εφαρμογές αναγνώρισης και ταξινόμησης δισδιάστατων σχημάτων. Στο τελικό στάδιο του συστήματος αναγνώρισης, αναπτύχθηκε ένα σύστημα συνδυασμού ταξινομητών το οποίο στηρίζεται στα τεχνητά νευρωνικά δίκτυα και αποτελείται από δύο επίπεδα. Στο πρώτο επίπεδο, νευρωνικοί ταξινομητές εκπαιδεύονται ώστε να λειτουργούν ανεξάρτητα με βάση τα διαφορετικά διανύσματα χαρακτηριστικών, ενώ το δεύτερο επίπεδο εκτελεί τη τελική διαδικασία ταξινόμησης συνδυάζοντας τις εξόδους των ταξινομητών του πρώτου επιπέδου με μια απλοποιημένη διάταξη μικρών νευρωνικών δικτύων. Το σύστημα αντιστοιχίζει ένα μικρής τάξης νευρωνικό δίκτυο σε κάθε κλάση εξόδου των ανεξάρτητων ταξινομητών, εκμεταλλευόμενο έτσι την ιδιαιτερότητα κάθε ταξινομητή να αποδίδει διαφορετικά σε κάθε κλάση όταν εμφανίζονται σημαντικές μεταβολές των διανυσμάτων εισόδου σε σχέση με τα διανύσματα εκπαίδευσής του. Η προτεινόμενη αρχιτεκτονική παρουσιάζει χαμηλή πολυπλοκότητα με υψηλό βαθμό απόδοσης, ενώ απαιτείται μικρός αριθμός κύκλων εκπαίδευσης καθιστώντας το σύστημα κατάλληλο για χρήση σε απαιτητικές εφαρμογές ταξινόμησης, ιδιαίτερα όταν απαιτείται επανεκπαίδευση κατά τη διάρκεια λειτουργίας του. Παρουσιάζεται επίσης μια πειραματική εφαρμογή ρομποτικής όρασης με βάση τα παραπάνω συστήματα, η οποία έχει υλοποιηθεί στο βιομηχανικό ρομποτικό βραχίονα που βρίσκεται στα εργαστήρια των συστημάτων αυτομάτου ελέγχου, ενώ δίνονται συγκριτικά αποτελέσματα της απόδοσης του προτεινόμενου νευρωνικού πολυταξινομητή, χρησιμοποιώντας ένα ικανό σύνολο ψηφιακά τροποποιημένων προτύπων.