Multi-channel EMG pattern classification based on deep learning

Abstract

In recent years, a huge body of data generated by various applications in domains like social networks and healthcare have paved the way for the development of high performance models. Deep learning has transformed the field of data analysis by dramatically improving the state of the art in various classification and prediction tasks. Combined with advancements in electromyography it has given rise to new hand gesture recognition applications, such as human computer interfaces, sign language recognition, robotics control and rehabilitation games. The purpose of this thesis is to develop novel methods for electromyography signal analysis based on deep learning for the problem of hand gesture recognition. Specifically, we focus on methods for data preparation and developing accurate models even when few data are available. Electromyography signals are in general one-dimensional time-series with a rich frequency content. Various feature sets have been proposed in literature however due to the stochastic nature of the signals the performance of the developed models depends on the combination of the features and the classifier. On the other hand, the end-to-end training scheme of deep learning models reduces the effort needed for finding the best features and classification model, yet a suitable preprocessing of the signals is still required. Another problem is that variations in gesture duration, sensor placement and muscle physiology require continuous adaptation of the trained models using new recorded data. The implementation is based on surface electromyography sensors, which comprise the input to the end-to-end deep learning pipelines that process and classify the electromyography signals. Preprocessing and data preparation techniques for electromyograms are examined, while data augmentation and transfer learning approaches allow developing personalized models even when few data are available. Besides their successful application in other domains, the use of deep learning models allows the development of systems that can easily generalize to new users. The use of electromyography sensors is important because the developed system can detect whether any unwanted compensatory movements are performed, which under typical vision-based interfaces is impossible. The advancements proposed in this thesis have been evaluated with publicly available data repositories. However, considering that the models are trained in an end-to-end fashion they can be easily adapted to different setups.

Τα τελευταία χρόνια, ένα τεράστιο σύνολο δεδομένων που παράγονται από διάφορες εφαρμογές σε τομείς όπως τα κοινωνικά δίκτυα και η υγειονομική περίθαλψη έχουν ανοίξει το δρόμο για την ανάπτυξη μοντέλων μηχανικής μάθησης με υψηλή απόδοση. Η βαθιά μάθηση έχει μεταμορφώσει το πεδίο της ανάλυσης δεδομένων βελτιώνοντας δραματικά την ακρίβεια σε εφαρμογές ταξινόμησης και πρόβλεψης. Σε συνδυασμό με τις εξελίξεις στην ηλεκτρομυογραφία, συνέβαλε στην ανάπτυξη νέων εφαρμογών αναγνώρισης χειρονομιών και κινήσεων του χεριού, όπως διεπαφές ανθρώπου υπολογιστή, αναγνώριση νοηματικής γλώσσας, έλεγχο ρομποτικών συστημάτων και παιχνίδια φυσικής αποκατάστασης. Ο σκοπός αυτής της διατριβής είναι να αναπτύξει νέες μεθόδους για την ανάλυση των σημάτων ηλεκτρομυογραφίας με βάση τη βαθιά μάθηση για το πρόβλημα της αναγνώρισης χειρονομιών. Συγκεκριμένα, εστιάζουμε σε μεθόδους για την προετοιμασία δεδομένων και την ανάπτυξη μοντέλων υψηλής απόδοσης, ακόμη και όταν λίγα δεδομένα είναι διαθέσιμα. Τα σήματα ηλεκτρομυογραφίας ανήκουν γενικά στην κατηγορία των μονοδιάστατων χρονοσειρών, έχουν όμως πλούσιο συχνοτικό περιεχόμενο. Διάφορα σύνολα χαρακτηριστικών έχουν προταθεί στη βιβλιογραφία, ωστόσο, λόγω της στοχαστικής φύσης των σημάτων, η ακρίβεια της ταξινόμησης εξαρτάται από το συνδυασμό των χαρακτηριστικών και του ταξινομητή. Από την άλλη πλευρά, η εκπαίδευση των μοντέλων βαθιάς μάθησης μειώνει την προσπάθεια που απαιτείται για την εύρεση των κατάλληλων χαρακτηριστικών και του μοντέλου ταξινόμησης, ωστόσο απαιτείται ακόμη μια σωστή προεπεξεργασία των σημάτων. Ένα άλλο πρόβλημα είναι ότι οι διακυμάνσεις στη διάρκεια της χειρονομίας, στην τοποθέτηση του αισθητήρα και στη φυσιολογία των μυών απαιτούν συνεχή προσαρμογή των εκπαιδευμένων μοντέλων χρησιμοποιώντας νέα καταγεγραμμένα δεδομένα. Αρχικά, παρουσιάζονται οι σχετικές έννοιες και η βιβλιογραφία που αφορούν στο πρόβλημα της ταξινόμησης κινήσεων του χεριού με τεχνικές μηχανικής μάθησης. Η μελέτη του προβλήματος ξεκινά με ένα απλό συνελικτικό νευρωνικό δίκτυο που επιτρέπει τη διερεύνηση των σημαντικών παραμέτρων. Την είσοδο του μοντέλου αποτελούν εικόνες του σήματος που δημιουργούνται με τη μέθοδο των κυλιόμενων παραθύρων και έχουν διαστάσεις που εξαρτώνται από τη διάρκεια του παραθύρου και των αριθμό των αισθητήρων. Στη συνέχεια αναζητήθηκαν τεχνικές που να επιτρέπουν την καλύτερη μοντελοποίηση της χρονικής εξάρτησης των σημάτων. Η χρήση ακολουθιών φράκταλ και συγκεκριμένα της καμπύλης Χίλμπερτ επιτρέπει την αναδίπλωση μιας χρονοσειράς στον 2Δ χώρο διατηρώντας τη γειτνίαση των σημείων και επιτρέποντας το συσχετισμό μακρινών σημείων. Η εκπαίδευση νευρωνικών δικτύων με δεδομένα αυτής της μορφής οδηγεί σε σημαντική βελτίωση της ακρίβειας τους. Η σύγκριση με άλλες καμπύλες φράκταλ φανερώνει την βελτιωμένη απόδοση των νευρωνικών δικτύων που χρησιμοποιούν την καμπύλη Χίλμπερτ. Επιπλέον, παρουσιάζεται ένα συνελικτικό δίκτυο που επιτρέπει τη χρήση πολλαπλών επιπέδων της καμπύλης φράκταλ συμβάλλοντας στην εκπαίδευση μοντέλων με λιγότερες παραμέτρους χωρίς να επηρεάζεται αρνητικά η ακρίβεια. Ακολουθεί η μελέτη χρονικών συνελικτικών δικτύων τα οποία προτιμώνται για την καλύτερη απόδοση τους σε σχέση με τα αναδρομικά δίκτυα. Η ανάλυση των εξαγόμενων χαρακτηριστικών δείχνει την ικανότητα αυτών των δικτύων στη μοντελοποίηση χρονοσειρών. Για την ταξινόμηση χρησιμοποιείται ως τελευταίο στάδιο της αρχιτεκτονικής ένα επίπεδο προσοχής που συνοψίζει τα πιο σημαντικά χαρακτηριστικά του σήματος. Στη συνέχεια της διατριβής παρουσιάζεται η συστηματική μελέτη τεχνικών επαύξησης δεδομένων. Αρχικά, αναλύονται οι σχετικές μελέτες στη βιβλιογραφία που αφορούν την αύξηση δεδομένων χρονοσειρών καθώς και μοντέλα προσομοίωσης σημάτων ηλεκτρομυογραφίας. Από τις τεχνικές που βρέθηκαν στη βιβλιογραφία αξιολογούνται η πρόσθεση Γκαουσιανού θορύβου, η στρέβλωση του πλάτους του σήματος, καθώς και δύο τεχνικές που αφορούν στη δημιουργία τεχνητών σημάτων. Επίσης, γίνεται χρήση της αποσύνθεσης του σήματος με τη χρήση της αποσύνθεσης κυματίων, ενώ παρουσιάζονται τρεις διαφορετικοί τρόποι συνδυασμού των παραπάνω τεχνικών. Τόσο η ποιοτική όσο και η ποσοτική ανάλυση των αποτελεσμάτων σε δύο διαφορετικές βάσεις δεδομένων δείχνουν ότι αυτές οι μέθοδοι μπορούν να βελτιώσουν σημαντικά την αναγνώριση των κινήσεων. Έπειτα, εξετάζονται οι τεχνικές μεταφοράς μάθησης με σκοπό την ανάπτυξη μοντέλων ακόμα και όταν λίγα δεδομένα είναι διαθέσιμα. Αναπτύσσεται μια πειραματική διαδικασία για την αξιολόγηση της βελτιστοποίησης ταυτόχρονων εργασιών. Η υπόθεση που διερευνάται είναι εάν η χρήση βοηθητικών εργασιών, όπως η εκτίμηση της παραγόμενης δύναμης κατά την εκτέλεση των κινήσεων, μπορεί να βελτιώσει την κύρια εργασία που είναι η σωστή ταξινόμηση της κίνησης. Μια εναλλακτική μέθοδος είναι η προσαρμογή πεδίου. Συγκεκριμένα υποθέτουμε ότι ένα νευρωνικό δίκτυο εκπαιδευμένο για την ταξινόμηση των κινήσεων σε μία βάση δεδομένων μπορεί να εξάγει χαρακτηριστικά που να είναι χρήσιμα για την ταξινόμηση των κινήσεων μιας άλλης βάσης δεδομένων. Παράλληλα διερευνάται και η επίδραση της προεπεξεργασίας στην εκπαίδευση των μεταφερόμενων μοντέλων. Τα αποτελέσματα παρουσιάζουν σημαντική βελτίωση για το στάδιο προεπεξεργασίας που διατηρεί μόνο την ανερχόμενη φάση του σήματος, πράγμα που σημαίνει ότι γίνεται σωστή πρόβλεψη της εκτελούμενης κίνησης χρησιμοποιώντας ένα ποσοστό της διάρκειας του σήματος. Επιπλέον, διαφορές στην απόδοση εντοπίζονται μεταξύ των νευρωνικών δικτύων. Η διατριβή ολοκληρώνεται με την περίληψη των σημαντικών συμπερασμάτων καθώς και με προτάσεις για μελλοντική έρευνα.