Αναγνώριση δακτυλικών χειρονομιών σε πραγματικό χρόνο για την αλληλεπίδραση ανθρώπου-ρομπότ: εφαρμογή στον έλεγχο συστημάτων μηχατρονικής

Abstract

This thesis presents a methodology for real time interaction with mechatronic systems via gesture recognition. It presents a new kind of Human - Machine interaction through personal computer. With the help of real time gesture recognition technologies and by using camera signal processing (web, kinect, pmd) the interaction with systems robotics and mechatronics in general is achieved. The methodology is based on the definition of the appropriate control commands (dictionary of movements) through gestures. It also supports their real-time detection through the orbits of fingertips, even before completion, to achieve interaction with the mechatronic systems or robotics. Part of the methodology is the simultaneous control of multiple commands via finger gestures meaning that each finger represents a different command performed simultaneously.So in the broader context of Human Computer Interaction, research for this thesis aims to present a) an appropriate methodology to create a dictionary of movements b) methodology of command recovery with machine vision technologies in real -time and c) suitable software, FingerOrasis, for the interaction with mechatronic system in real time.The methodology used is based on expanding in three-dimensional space the current pc vision method to recognize finger movements in music. It takes into account two approaches of recognition in real –time from the FingerOrasis system: a) the static approach or touch finger recovery and b) the dynamic approach, command recovery. Static recognition is applied to each video frame. The dynamic recognition applies to all video frame sequences, based on Hidden Markov Models and dynamic time warping technique.

Η συγκεκριμένη διδακτορική διατριβή παρουσιάζει μεθοδολογία αλληλεπίδρασης με συστήματα μηχατρονικής μέσω οπτικής αναγνώρισης δακτυλικών κινήσεων σε πραγματικό χρόνο. Παρουσιάζει ένα νέο είδος αλληλεπίδρασης Ανθρώπου - Ρομπότ μέσω Ηλεκτρονικού Υπολογιστή. Με τη βοήθεια τεχνολογιών αναγνώρισης ακροδακτύλων χεριού σε πραγματικό χρόνο και μέσω επεξεργασίας σημάτων κάμερας (web, kinect, pmd) επιτυγχάνεται αλληλεπίδραση με συστήματα ρομποτικής και εν γένει μηχατρονικής. H μεθοδολογία βασίζεται στον ορισμό των κατάλληλων εντολών ελέγχου (λεξικού κινήσεων) μέσω χειρονομιών και υποστηρίζει την ανίχνευσή τους σε πραγματικό χρόνο μέσω των τροχιών των ακροδακτύλων, πριν ακόμη ολοκληρωθούν, για την αλληλεπίδραση με το σύστημα μηχατρονικής ή ρομποτικής. Μέρος της μεθοδολογίας αποτελεί ο ταυτόχρονος έλεγχος πολλαπλών εντολών μέσω δακτυλικών χειρονομιών, είτε αντιστοιχίζοντας κάθε δάκτυλο με διαφορετική εντολή, που εκτελούνται όμως ταυτόχρονα, είτε χρησιμοποιώντας μια χειρονομία για την εκτέλεση πλήθους εντολών.Έτσι, στο γενικότερο πλαίσιο της Επικοινωνίας Ανθρώπου – Ρομπότ -Υπολογιστή, η έρευνα για την παρούσα διδακτορική διατριβή έχει σκοπό να παρουσιάσει α) κατάλληλη μεθοδολογία δημιουργίας λεξικού κινήσεων β) μεθοδολογία ανάκτησης εντολών με τεχνολογίες μηχανικής όρασης σε πραγματικό χρόνο και γ) κατάλληλο λογισμικό FingerOrasis για την αλληλεπίδραση με σύστημα μηχατρονικής σε πραγματικό χρόνο. Η μεθοδολογία που χρησιμοποιείται βασίζεται στην επέκταση στον τρισδιάστατο χώρο υπάρχουσας μεθόδου όρασης Η/Υ για την αναγνώριση κινήσεων δακτύλων στον χώρο της μουσικής. Λαμβάνονται υπόψη δύο προσεγγίσεις αναγνώρισης σε πραγματικό χρόνο από το σύστημα FingerOrasis: α) η στατική προσέγγιση ή ανάκτηση πατήματος δακτύλου, και β) η δυναμική προσέγγιση, ανάκτηση εντολής. Η στατική αναγνώριση εφαρμόζεται σε κάθε καρέ του βίντεο. Η δυναμική αναγνώριση εφαρμόζεται σε σύνολο ακολουθιών καρέ βίντεο, βασιζόμενη σε Κρυφά Μαρκοβιανά Μοντέλα και σε τεχνική δυναμικής περιτύλιξης χρόνου.