Ανάπτυξη τεχνικών οπτικής αναγνώρισης χειρονομιών

Abstract

A series of vision based hand gesture recognition techniques have been developed in the context of this thesis concerning: (i) hand detection in color images and videos, (ii)estimation of hand posture formed by raised fingers, (iii) dynamic gesture recognition, and (iv) body parts localization using depth imaging. There were developed two techniques for hand detection in color images and videos which address the difficulties associated with the variety of cameras and lighting conditions and the complexity of the background. The first hand detection technique uses a skin color filter which combines a dynamic skin color model and an explicitly defined skin color region. The second technique employs combination of existing algorithms for motion detection and introduces a novel skin color classifier to improve segmentation accuracy. Motion detection is based on image differencing and background subtraction. Skin color detection is accomplished via a color classification technique that employs online color training, so that the system can dynamically adapt to the variety of lighting conditions and the user's skin color in the most effective way. Morphological features of the detected hand in previous frames are employed to estimate the probability of a pixel belonging to the hand section in the current frame. Finally, the derived motion, color and morphological information are combined to detect the hand region. Hand pose estimation is accomplished via hand skeleton extraction which is based on horizontal distance transform of the hand’s image. Dynamic gesture recognition is achieved by the classification of hand’s trajectory features. The classifier is based on Hidden Markov Models. The difficulties faced in hand detection in intensity images and videos along with the recent advance in depth sensing technology led to the development of an upper body parts localization technique using depth imaging. Based on the depth map provided by the Microsoft Kinect device we are able to detect six parts of the body using the self-organized and self-growing neural network SGONG. Then, hand region extraction is used for static gesture recognition while the hand’s position is tracked by using Kalman filtering for dynamic gesture recognition. Lastly, a digital map display software has been developed, which is controlled by static and dynamic gestures and exploits the three-dimensional localization of the hand using depth imaging.

Στα πλαίσια της παρούσα διδακτορικής διατριβής αναπτύχθηκαν τεχνικές οπτικής αναγνώρισης χειρονομιών που έχουν να κάνουν: (i) με την ανίχνευση του χεριού σε έγχρωμες εικόνες, (ii) την εκτίμηση χειρομορφής, που σχηματίζεται με τον συνδυασμό ανασηκωμένων δακτύλων, (iii) την αναγνώριση δυναμικών χειρονομιών, που εκτελεί ο χρήστης, και (iv) την εύρεση τμημάτων του σώματος σε εικόνες που λαμβάνονται από αισθητήρα βάθους. Αναπτύχθηκαν δύο τεχνικές ανίχνευσης του χεριού σε έγχρωμες εικονοσειρές, οι οποίες αντιμετωπίζουν τις δυσκολίες που σχετίζονται με την ποικιλία στις κάμερες και τις συνθήκες φωτισμού καθώς και την πολυπλοκότητα του παρασκηνίου. Στην πρώτη τεχνική προτείνεται ένα φίλτρο χρώματος δέρματος, με χρήση συνδυασμού ενός δυναμικού στατιστικού χρωματικού μοντέλου βασισμένο σε εικονοστοιχεία της περιοχής του προσώπου και ενός χρωματικού μοντέλου βασισμένο σε κατώφλια. Η δεύτερη τεχνική, αξιοποιεί πληροφορίες κίνησης, χρώματος δέρματος και μορφολογίας με σκοπό την επίτευξη υψηλής αποδοτικότητας και ευρωστίας στην εύρεση του χεριού σε σύνθετα περιβάλλοντα λειτουργίας. Η εκτίμησης της χειρομορφής στηρίζεται στην εύρεση του σκελετού του χεριού με χρήση ενός τροποποιούμενου αλγόριθμου μετασχηματισμού απόστασης ως προς τον οριζόντιο άξονα. Η αναγνώριση των δυναμικών χειρονομιών επιτυγχάνεται με την ταξινόμηση των χαρακτηριστικών που εξάγονται από την τροχιά που έχει διαγράψει το χέρι κατά την εκτέλεση της χειρονομίας. Η αναγνώριση της χειρονομίας επιτυγχάνεται με τη χρήση Κρυφών Μαρκοβιανών Μοντέλων. Οι δυσκολίες της ανίχνευσης του χεριού σε έγχρωμες εικόνες, οδήγησε στην ανάπτυξη μιας τεχνικής εύρεσης τμημάτων του άνω μέρους του σώματος βασισμένη στην όραση βάθους. Βάσει της πληροφορίας του χάρτη βάθους της σκηνής που παρέχει ο αισθητήρας της συσκευής Microsoft Kinect, επιτυγχάνεται η ανίχνευση έξι σημείων του σώματος με χρήση του αυτό-οργανούμενου και αυτό-αναπτυσσόμενου νευρωνικού αερίου (SGONG). Στη συνέχεια, εξάγεται η περιοχή του χεριού, η οποία χρησιμοποιείται για την αναγνώριση στατικών χειρονομιών, ενώ ταυτόχρονα η κίνησή του παρακολουθείται με χρήση του φίλτρου Kalman για την αναγνώριση δυναμικών χειρονομιών. Τέλος, αναπτύχθηκε ένα λογισμικό απεικόνισης ψηφιακού χάρτη, το οποίο ελέγχεται μέσω στατικών και δυναμικών χειρονομιών και εκμεταλλεύεται τον τριδιάστατο εντοπισμό του χεριού με τη χρήση όρασης βάθους.