Όραση Η/Υ για την αναγνώριση κινήσεων: ανάλυση και στοχαστική μοντελοποίηση κινήσεων στη μουσική αλληλεπίδραση

Abstract

Η παρούσα διδακτορική διατριβή παρουσιάζει ένα πρωτότυπο σύστημα όρασης υπολογιστή για την αναγνώριση κινήσεων στη αλληλεπίδραση μεταξύ πιανίστα και μουσικού οργάνου. Η όραση υπολογιστή είναι η μοναδική τεχνολογία που επιτρέπει αναγνώριση κινήσεων, χωρίς περιορισμούς στον πιανίστα και με χαμηλό κόστος. Το σύστημα προτείνει δύο προσεγγίσεις για την αναγνώριση: α) τη στατική προσέγγιση, ή ανάκτηση δακτυλισμών, και β) τη δυναμική προσέγγιση, επέκταση της στατικής προσέγγισης. Η στατική αναγνώριση εφαρμόζεται σε κάθε καρέ του βίντεο. Βασίζεται στην ανάλυση και ερμηνεία χαρακτηριστικών του καρέ, συγκρίνοντάς τα με το αιτιοκρατικό μοντέλο κίνησης. Η δυναμική αναγνώριση εφαρμόζεται σε σύνολο ακολουθιών καρέ του βίντεο. Βασίζεται στην ανάλυση και στοχαστική μοντελοποίηση μέσω Κρυφών Μαρκοβιανών Μοντέλων. Η παρούσα μέθοδος μπορεί να επεκταθεί και σε άλλα πεδία εφαρμογής όπως είναι η παρακολούθηση ανθρώπων με έλλειψη αυτονομίας στο σπίτι, η αξιοποίηση πολιτιστικής κληρονομιάς, η μελέτη της ανθρώπινης συμπεριφοράς και η επικοινωνία ανθρώπου-υπολογιστή.

Cette thèse présente un système prototype de vision par ordinateur pour la reconnaissance des gestes dans l’interaction entre le pianiste et l’instrument. La vision par ordinateur est la seule technologie permettant la reconnaissance des gestes, sans interférence entre le pianiste et son instrument, et à un faible cout. Le système propose deux approches pour la reconnaissance: a) l’approche statique, oureconnaissance des doigtés, et b) l’approche dynamique, extension de l’approche statique. La reconnaissance statique s’applique à chaque image de la vidéo. Elle repose sur l’analyse et l’interprétation des caractéristiques de l’image, en les comparant avec le modèle déterministe du geste. La reconnaissance dynamique s’applique à un ensemble de séquences d’images vidéo. Elle se base sur l’analyse et la modélisation stochastique du geste, a l’aide de Modèles de Markov Cachés. Cette methode peut être étendue à d’autres champs d’application tels que la surveillance de personnes en perte d’autonomie à domicile, la valorisation du patrimoine culturel, l’étude du comportement humain ou encore l’interaction homme-machine.