Συστήματα ρομποτικής όρασης για εντοπισμό και παρακολούθηση στόχου

Abstract

The robotic vision systems are a research field, which has flourished the last decades concerning the innovations and applications. Besides, robotic vision is connected with the development of the computers, which evolve extremely fast. Moreover, the vision systems are highly related to the image processing. The development of the cameras is a common practice nowadays and they can be found in video-devices, cell phones, digital cameras and web-cameras. The robot vision is the intersection of several other ones, including computer vision, image processing, robotics etc. A first definition of the robot vision could be the use of images in robotics. One camera and a robotic arm, with at least one degree of freedom, constitute one robotic vision system in its simplest form. The use of one single camera for extracting the environmental information does not constitute a robotic vision system. Many vision systems have been developed. The use of computer vision in robotics, such as pose estimation, vergence angle, image stabilization etc. and its fusion in a robotic system is the main scope and purpose of this thesis. Here we describe some applications for robot vision systems, in which two tools are utilized. These are the Kalman filter and the fuzzy logic. The filter’s recursiveness, makes it ideal not only for smoothing the data, but also for the elimination of the noise levels. Fuzzy logic is actually the interface between human beings and machines, where humans can provide commands through natural language representations, coded in simple ’if...then’ rules. The examined and presented methodologies are basic in the majority of robotic systems, including, image stabilization, vergence angle, pose estimation and visuo-inertial fusion. The methodologies are connected with the tools as depicted in the diagrams below. The present thesis is divided into three parts, the robot vision technologies, the tracking robotic vision systems and finally to the identifying robotic vision systems. The first chapter of the first part involves the mathematical formulations of the 3D projections onto the image plane, and some basic tasks are described, such as the camera calibration which is a crucial procedure in the vision systems. Furthermore, in the same part are referred some basic procedures for the image processing modules, such as the noise, the filters and the color models. Consequently, the optic flow techniques are described, in which the projected 3D motion vectors are calculated. In the last chapter of the first part the log-polar transformation is analyzed. The Cartesian images are transformed into polar ones and subsequently into log-polar ones, which maintain the same data with less volume. All of these technologies are utilized into the aforementioned methodologies, improving the processing time and the accuracy of the respective systems. The second part of the thesis is devoted into two tracking robot vision applications. These have been developed so as to increase both the qualitative and quantitative features of the respective procedures. The first one is the image stabilization. The image sequences and the video signals contain two movements, one desired and one not. The desired motion aims to constantly track a target preserving the images as stable as possible. The undesired one, which is present in almost any such signal, results into low quality video. This kind of motion, depending on the application, is caused by the jitters produced by several factors, such as a rough terrain. The image stabilization computes the undesired motions and compensates them without thought affecting the desired ones. Our contribution focuses into two characteristics of this methodology. The first one deals with the reduction of the computational times during the image processing, which is a resource demanding and a highly time consuming process. The second part concerns the optimal handling of this information so as to maximize the compensation of the fluctuations, while preserving the visual quality. To this end, the Cartesian images are transformed into log-polar ones and the optical flow is not applied to the whole frame but instead in four background image regions. These subimages were chosen based on the fact that the target of interest lies in the foreground and specifically in the image center. This transformation enables the images to maintain all the necessary data, while reducing their volume. A fuzzy Kalman filter handles the extracted information. The fuzzy rules interact with the recursive filter providing compensation vectors which cut off the undesired motion effects but still preserving the intended ones with high visual quality. The second tracking applications deal with a common problem in binocular systems. The vergence angle is the fixation of both cameras to the same target, in order to obtain s single only fused image. In opposite cases, the two images are merged, creating a confusing image as the scenery’s characteristics are not distinguishable. This procedure is repeated constantly as the human vision system does. The brain fuses the image pairs so as a single image to be interpreted. The biomimetic systems adopt the human procedure with cameras (eyes), camera sensors (retina), servos (eye muscles) and computer units (human brain). The main criteria for verge or diverge are the distance from the eyes and the degree of similarity between the two images. The similarity task has widely been developed, although none of these technique mimics the human processes. In our research, we use fuzzy logic. The two inputs to the fuzzy system is the depth of the scene, i.e. the distance from the eyes, and the image-pair similarity. The proposed system is computationally inexpensive, as there is no need for prior camera calibration. The similarity criterion is robust against light variations and it is improved when it interacts with the depth input. The depth is computed by the system’s encoders readings and is being calculated algebraically. The simple mathematical formulations, for the computation of both inputs, render the system capable for real-time operation. The third part of the thesis, deals with the identification of one target and the accurate estimate of its pose. The pose estimation is one of the most common and demanding tasks in robotics. The target’s pose, requires image processing to find the key features, from which the pose vector is computed via projection matrices and homographies. The more fine the pixel accuracy of these features is, the more precise the final pose vector estimation is. Our contribution to this field is based on the fact that the target is found from a known arrangement of colored markers. The proposed arrangement can take any shape and its cost is very low. The markers are identified from their color information and their motion vectors. Moreover, we propose a new method for color identification by utilizing many color spaces which enable the system to respond accurately even under extreme lighting and environmental conditions. Furthermore, a new method for handling occlusions is presented, which were leading the vision systems to failure. The adopted architecture has some key novel aspects, as the camera is mounted outside the system, providing flexibility to be applied in many systems and the target is observed better. The vision system is connected with an inertial measurement unit, which is embodied on the target. The data fusion is achieved via a Kalman filter, which exploits the complementary attributes of the two sensors. The filter has higher accuracy and robustness than each dependent senor, and for this reason it is being used as a benchmark for other fusion techniques. In the last chapter of our research, a new visuo-inertial fusion method is presented. The inertial measurement units have short-term accuracy while in long-term applications the introduced error is incremental. These sensors are too sensitive and, as a result, they still measure accelerations even when they are immobilized. The isolation and elimination of this drift error is challenging and much effort has been put to either enhance or optimize existent filters, such as the Kalman filter and its several formulations (Extended, Unscented, Iterative etc.). Our contribution to this field concerns the adoption of a three level hierarchical fuzzy system for visuo-inertial fusion. The first level of the proposed system aims to reduce the drift error from the acceleration data. In the second layer, the respective fuzzy logic unit receives as inputs the filtered data from the first level and the visual measurements. The fused measurements are then imported to the last stage along with the system’s previous state in order to provide recursiveness to the system. The hierarchical fuzzy system is capable of isolating the noise and providing accurate measurements even in the cases where one of the sensors suffers from extreme disturbances and noise. The system is being examined for all of its Membership function parameters, such as their type, shape, distribution and the different arrangement of its inputs. The optimal parameters are selected during this system analysis, based on the minimization for error compared to ground-truth measurements. The proposed application broaches the use of fuzzy logic and the hierarchical fuzzy systems for fusion tasks, especially to robotic vision systems which cooperate with inertial sensors. To sum up, in this thesis, two applications of vision systems for target tracking and two for target identification are presented. The common features of the applications are that they utilize traditional methodologies combined with tools for decision making, control and data fusion.

Τα συστήµατα ϱοµποτικής όρασης είναι ένα αντικείµενο επιστηµονικής και τεχνολογικής έρευνας το οποίο ανθεί τα τελευταία χρόνια. Είναι άρρηκτα συνδεδεµένη µε την τεχνολογία των ηλεκτρονικών υπολογιστών, όπου η εξέλιξή τους ακµάζει µε ταχείς ϱυθµούς. Επίσης, τα συστήµατα όρασης σχετίζονται µε την εικόνα γενικότερα και η εξέλιξή τους ακολουθεί αυτή των καµερών, που έχει µπει στην καθηµερινή µας ζωή, αφού πλέον συναντάται σε πλήθος καταναλωτικών προϊόντων όπως ϐιντεοκάµερας, κινητά τηλέφωνα, ψηφιακές ϕωτογραφικές µηχανές και κάµερες τηλεδιάσκεψης. Η ροµποτική όραση είναι ένας διευρυµένος επιστηµονικός κλάδος, στον οποίο συνεισφέρουν άλλα πεδία, όπως η υπολογιστική όραση (computer vision), η επεξεργασία εικόνας (image processing), η ϱοµποτική κ.ά. Ένας πρώτος ορισµός της ϱοµποτικής όρασης ϑα µπορούσε να είναι η χρήση της εικόνας σε ϱοµποτικά συστήµατα. Μία κάµερα και ένας ϱοµποτικός µηχανισµός, µε τουλάχιστον ένα ϐαθµό ελευθερίας, αποτελούν ένα ϑεµελιώδες σύστηµα ϱοµποτικής όρασης. Η χρήση µόνο µίας κάµερας για εξαγωγή πληροφοριών από το περιβάλλον δεν µπορεί να αποτελέσει σύστηµα ϱοµποτικής όρασης. Η χρήση της υπολογιστής όρασης σε ϱοµποτικές εφαρµογές, όπως εύρεση του διανύσµατος ϑέσης, γωνία σύγκλισης, σταθεροποίηση εικόνας κ.ά., καθώς επίσης και η σύντηξη αυτής της πληροϕορίας σε ένα ϱοµποτικό σύστηµα είναι ο ερευνητικός στόχος της παρούσας διατριβής. Στην διατριβή αυτή αναπτύσσονται καινοφανείς µέθοδοι για εφαρµογές ϱοµποτικής όρασης στις οποίες γίνεται χρήση δύο εργαλείων: του ϕίλτρου Kalman και της ασαφούς λογικής. Η επαναληπτικότητα του ϕίλτρου Kalman, το καθιστά ιδανικό µέσο τόσο για την οµαλοποίηση δεδοµένων όσο και για την απαλοιφή του ϑορύβου. Η ασαφής λογική είναι ουσιαστικά ένα µέσο διασύνδεσης ανθρώπου-µηχανής όπου ο άνθρωπος µπορεί να δώσει εντολές χρησιµοποιώντας µια κοινή γλώσσα µορφοποιηµένη σε κανόνες if...then. Οι µεθοδολογίες που ερευνήθηκαν και παρουσιάζονται είναι ϐασικές για τα περισσότερα ϱοµποτικά συστήµατα. Αυτές είναι ονοµαστικά οι: σταθεροποίηση εικόνας, εύρεση της γωνίας σύγκλισης, υπολογισµός του διανύσµατος ϑέσης και τέλος η σύντηξη δεδοµένων από µια κάµερα και ένα αισθητήριο αδράνειας. Τα εργαλεία συνδέονται µε τις µεθοδολογίες σύµφωνα µε τα διαγράµµατα του παρακάτω σχήµατος. Η παρούσα διατριβή χωρίζεται σε τρία µέρη, τις τεχνολογίες για ϱοµποτική όραση, τα συστήµατα ϱοµποτικής όρασης για παρακολούθηση στόχου και τέλος τα συστήµατα ϱοµποτικής όρασης για εντοπισµό στόχου. Το πρώτο κεφάλαιο του πρώτου µέρους αφορά το µαθηµατικό υπόβαθρο της προβολής του χώρου στην εικόνα. Εκεί αναλύονται ϐασικές τεχνολογίες όπως η ϐαθµονόµηση των καµερών, µια διαδικασία απαραίτητη στα συστήµατα όρασης. Επίσης, στο ίδιο µέρος γίνεται αναφορά για κάποιες ϐασικές διεργασίες για την επεξεργασία της εικόνας όπως είναι ο ϑόρυβος, τα ϕίλτρα και τα χρωµατικά µοντέλα. Στη συνέχεια περιγράφεται η οπτική ϱοή, µια διαδικασία κατά την οποία υπολογίζονται τα προβαλλόµενα διανύσµατα κίνησης του πραγµατικού κόσµου στο πεδίο της εικόνας. Στο τελευταίο κεφάλαιο του πρώτου µέρους αναφέρεται ο λογαριθµο-πολικός µετασχηµατισµός. Οι καρτεσιανές εικόνες µετατρέπονται σε πολικές και στη συνέχεια σε λογαριθµο-πολικές διατηρώντας την ίδια πληροφορία, καταλαµϐάνοντας όµως χαµηλότερο όγκο δεδοµένων. Όλες αυτές οι τεχνολογίες χρησιµοποιούνται στις προαναφερθείσες µεθοδολογίες, ϐελτιώνοντας το χρόνο και την ακρίβεια των επιµέρους συστηµάτων. Το δεύτερο µέρος της διατριβής, αφιερώνεται σε δύο εφαρµογές ϱοµποτικών συστηµάτων για παρακολούθηση στόχου. Οι εφαρµογές που αναπτύχθηκαν στοχεύουν στην αύξηση των ποιοτικών και των ποσοτικών χαρακτηριστικών των αντίστοιχων διαδικασιών. Η πρώτη εφαρµογή που παρουσιάζεται αφορά την σταθεροποίηση των εικόνων. Οι ακολουθίες εικόνων και τα ϐίντεο περιλαµβάνουν µια ηθεληµένη κίνηση και µια µη ηθεληµένη. Η ηθεληµένη κίνηση προσπαθεί να παρακολουθήσει ένα στόχο συνεχώς διατηρώντας όσο το δυνατό σταθερή την εικόνα. Η µη ηθεληµένη κίνηση είναι παρούσα σχεδόν σε οποιοδήποτε τέτοιο σήµα µε αποτέλεσµα να χάνεται η ποιότητα του ϐίντεο. Αυτή η κίνηση προκαλείται από τις αναταράξεις ή από την ανωµαλία του εδάφους, ανάλογα µε την εφαρµογή. Η σταθεροποίηση εικόνας υπολογίζει τις µη ηθεληµένες κινήσεις και τις αντισταθµίζει σε τέτοιο ϐαθµό ώστε να µην επηρεάζεται η ηθεληµένη. Η συµβολή µας στο χώρο εστιάζει σε δύο χαρακτηριστικά αυτής της µεθοδολογίας. Το πρώτο χαρακτηριστικό είναι η χρονοβόρα επεξεργασία των εικόνων κατά την οποί α υπολογίζεται η ανεπιθύµητη κίνηση. Στόχος µας είναι να µειωθεί αυτός ο χρόνος στο ελάχιστο. Το δεύτερο χαρακτηριστικό αφορά την ϐέλτιστη διαχείριση της πληροϕορίας της κίνησης ούτως ώστε να αντισταθµίζονται οι διαταραχές στο µέγιστο δυνατό ϐαθµό, χωρίς όµως να µειώνεται η οπτική ποιότητα των εικόνων. Για το λόγο αυτό, οι καρτεσιανές εικόνες µετασχηµατίζονται σε λογαριθµο-πολικές και η οπτική ϱοή δεν εϕαρµόζεται σε ολόκληρη την εικόνα αλλά σε τέσσερις περιοχές του ϕόντου. Οι περιοχές δεν επιλέχθηκαν τυχαία, αφού ϑεωρείται πως ο παρακολουθούµενος στόχος ϐρίσκεται στο προσκήνιο της εικόνας και συγκεκριµένα στο κέντρο της. Με τον µετασχηµατισµό των εικόνων, οι τέσσερις περιοχές διατηρούν τα ποιοτικά χαρακτηριστικά τους έχοντας µικρότερο όγκο δεδοµένων. Η διαχείριση της πληροφορίας της κίνησης επιτυγχάνεται µε ένα ασαφές ϕίλτρο Kalman. Οι ασαφείς κανόνες αλληλεπιδρούν µε το επαναληπτικό ϕίλτρο παρέχοντας διανύσµατα αντιστάθµισης τέτοια ώστε να αποκόπτονται οι αναταράξεις της κάµερας διατηρώντας παράλληλα υψηλή οπτική ποιότητα. Η δεύτερη εφαρµογή παρακολούθησης στόχου αντιµετωπίζει ένα συνηθισµένο πρόβληµα των διοπτρικών συστηµάτων. Το πρόβληµα της γωνίας σύγκλισης, που αφορά την προσήλωση των δύο καµερών στο ίδιο σηµείο έτσι ώστε να επιτυγχάνεται παράλληλη παρακολούθηση του στόχου. Η διαδικασία αυτή επαναλαµβάνεται συνεχώς από το ανϑρώπινο σύστηµα όρασης. Ο εγκέφαλος συντήκει το ζεύγος εικόνων ώστε να γίνεται αντιληπτή µόνο µια εικόνα και όχι δύο. Τα ϐιοµιµητικά συστήµατα υιοθετούν τη διαδικασία αυτή µε κάµερες (µάτια), µε οπτικούς αισθητήρες (αµφιβληστροειδής), µε σερβοκινητήρες (µύες των µατιών) και µε υπολογιστικές µονάδες (εγκέφαλος). Τα κύρια κριτήρια για τη σύγκλιση ή απόκλιση είναι η απόσταση από τα µάτια και ο ϐαθµός οµοιότητας των δύο εικόνων. Στην έρευνά µας, χρησιµοποιείται η ασαφής λογική. Οι δύο είσοδοι του ασαφούς συστήµατος που προτείνεται είναι το ϐάθος της σκηνής (απόσταση από τις κάµερες) και η οµοιότητα των εικόνων. Το προτεινόµενο σύστηµα είναι υπολογιστικά ϕθηνό αφού δεν απαιτείται η ϐαθµονόµηση των καµερών. Το κριτήριο της οµοιότητας διαχειρίζεται αποτελεσµατικά τις διαταραχές του ϕωτισµού και ϐελτιώνεται όταν αλληλεπιδράσει στο ασαφές σύστηµα µε το ϐάθος. Το ϐάθος υπολογίζεται από την πληροφορία που εξάγεται από τους κωδικοποιητές του συστήµατος από την περιστροφή της κάθε κάµερας. Οι απλές µαθηµατικές πράξεις για τον υπολογισµό των δύο εισόδων καθιστούν το σύστηµα ικανό να λειτουργήσει σε συστήµατα που έχουν απαιτήσεις για πραγµατικό χρόνο. Το τρίτο µέρος της διατριβής πραγµατεύεται τον εντοπισµό ενός στόχου και τον ακριβή υπολογισµό του διανύσµατος ϑέσης του. Η εύρεση του διανύσµατος ϑέσης, είναι ένα από τα πιο συνηθισµένα και απαιτητικά προβλήµατα στη ϱοµποτική. Η εύρεση ενός γνωστού στόχου, απαιτεί την επεξεργασία της εκάστοτε εικόνας έως ότου ϐρεθούν κάποια χαρακτηριστικά γνωρίσµατα. Από αυτά, µέσω των πινάκων προβολής, µπορεί να εκτιµηθεί το διάνυσµα ϑέσης. Όσο πιο ακριβής είναι η ανίχνευση των χαρακτηριστικών του στόχου, τόσο πιο ακριβές είναι και το τελικό διάνυσµα ϑέσης που υπολογίζεται. Η έρευνάς µας επικεντρώνεται στην ανίχνευση ενός γνωστού στόχου αποτελούµενου από µια διάταξη χρωµατιστών σηµαδιών. Το κόστος κατασκευής είναι πάρα πολύ µικρό και µπορεί να πάρει οποιαδήποτε µορφή. Τα σηµάδια ανιχνεύονται µε ϐάση τη χρωµατική τους πληροφορία και το διάνυσµα κίνησής τους. Προτείνεται µια νέα µέθοδος εύρεσης των χρωµάτων µε χρήση πολλών χρωµατικών χώρων, καθιστώντας το σύστηµα ικανό να ανιχνεύσει τα σηµάδια κάτω από ακραίες περιβαλλοντολογικές συνθήκες και ϕωτισµούς. Επίσης, παρουσιάζεται και µια καινοτόµος µέθοδος αντιµετώπισης των επικαλύψεων, που µέχρι πρότινος οδηγούσε σε αποτυχία των συστηµάτων όρασης. Η αρχιτεκτονική στην οποία εφαρµόζεται αυτό το σύστηµα όρασης παρουσιάζει ιδιαίτερα καινοτόµα χαρακτηριστικά, καθώς η κάµερα είναι τοποθετηµένη εκτός του συστήµατος. Αυτό δίνει την ευχέρεια για καλύτερη εποπτεία του στόχου στο χώρο και την ικανότητα υιοθέτησής της σε πολλές εφαρµογές. Το σύστηµα όρασης συνδυάζεται και µε ένα αισθητήριο αδράνειας, το οποίο ϐρίσκεται πάνω στο σώµα του στόχου. Η σύντηξη των δεδοµένων γίνεται µε την επέκταση του ϕίλτρου Kalman και εκµεταλλεύεται τα συµπληρωµατικά χαρακτηριστικά των δύο αισθητηρίων. Το ϕίλτρο έχει µεγαλύτερη ακρίβεια και ευρωστία από το κάθε αισθητήριο ξεχωριστά και για αυτό το λόγο χρησιµοποιείται ως ορόσηµο επιτυχίας για άλλες τεχνικές σύντηξης. Στο τελευταίο κεφάλαιο της έρευνάς µας, παρουσιάζεται µια νέα µέθοδος σύντηξης αυτών των δύο αισθητηρίων. Τα αισθητήρια αδράνειας λειτουργούν µε µεγάλη ακρίβεια ϐραχυπρόθεσµα, ενώ µακροπρόθεσµα το σφάλµα τους αυξάνεται αθροιστικά. Τα αισθητήρια αυτά είναι πολύ ευαίσθητα µε αποτέλεσµα να µετρούν επιταχύνσεις ακόµα και όταν αυτά παραµένουν σταθερά. Η αποµόνωση και απαλοιφή αυτού του σϕάλµατος αποτελεί πρόκληση στις σύγχρονες έρευνες και οι περισσότερες στοχεύουν στη ϐελτιστοποίηση υπαρχόντων ϕίλτρων µε αποτέλεσµα να υπάρχουν πολλές παραλλαγές του ϕίλτρου Kalman. Η συµβολή µας στο πεδίο αυτό, είναι η εφαρµογή ενός ιεραρχικού ασαφούς συστήµατος τριών επιπέδων για τη σύντηξη των δεδοµένων που λαµβάνονται από µια κάµερα και από ένα αισθητήριο αδράνειας. Στο πρώτο επίπεδο του προτεινόµενου συστήµατος υπάρχει µια µονάδα ασαφούς λογικής η οποία έχει ως στόχο την ευφυή αναγνώριση του σφάλµατος του αισθητηρίου αδράνειας από τα δεδοµένα της επιτάχυνσης. Το δεύτερο επίπεδο δέχεται την ϕιλτραρισµένη πληροφορία και τη συντήκει µε εκείνη της κάµερας. Στο τελευταίο επίπεδο υπάρχουν δύο είσοδοι, η συντηγµένη οπτικο-αδρανειακή πληροφορία και η έξοδος του συστήµατος κατά την προηγούµενη χρονική στιγµή, εισάγοντας επαναληπτικότητα στο σύστηµα. Το ιεραρχικό σύστηµα µπορεί και αποµονώνει το ϑόρυβο των αισθητηρίων και είναι ικανό να παράγει ακριβή αποτελέσµατα ακόµα και στις περιπτώσεις όπου το ένα από τα δύο αισθητήρια διατελεί υπό εξαιρετικά επίπεδα διαταραχών και ϑορύβου. Το σύστηµα εξετάζεται για όλες τις παραµέτρους των συναρτήσεων συµµετοχής, όπως τύπος, εύρος, σχήµα και κατανοµή τους καθώς επίσης και σε διαφορετική διάταξη των εισόδων του. Από την ανάλυση του συστήµατος επιλέγονται όλες οι παράµετροι που παρείχαν το µικρότερο σφάλµα αφού συγκρίθηκαν µε πραγµατικές τιµές. Η συγκεκριµένη εφαρµογή ϑέτει τις ϐάσεις για την εφαρµογή της ασαφούς λογικής και των ιεραρχικών ασαφών συστηµάτων σε εφαρµογές σύντηξης δεδοµένων, ιδιαίτερα σε συστήµατα ϱοµποτικής όρασης τα οποία συνεργάζονται µε αισθητήρια αδράνειας. Επιγραµµατικά, στην παρούσα διατριβή παρουσιάστηκαν δύο εφαρµογές συστηµάτων όρασης για παρακολούθηση στόχων και δύο για εντοπισµό τους. Τα κοινά χαρακτηριστικά όλων των εφαρµογών είναι πως κάνουν χρήση παραδοσιακών µεθοδολογιών συνδυαζόµενα µε εργαλεία λήψης αποφάσεων, ελέγχου και σύντηξης δεδοµένων.