Representation learning schemes of multichannel encephalographic signals for Brain Computer Interfaces

Abstract

Brain computer interfaces (BCIs) provide alternative communication (or control) pathways between the human brain and an external device by decoding brain activity and “translating” it into machine commands without requiring any physical interaction. The idea of “mind reading” was first conceived by Berger, but only in the past few years BCI implementations were made plausible. Due to their design, BCIs are considered ideal assistive tools for people suffering from motor disabilities and as such they receive continuous attention. BCIs can be implemented with various approaches, but electroencephalography (EEG) has been proven to be the most popular choice due to its non-invasiveness, low cost and the advantage of being employed with minimal effort even in home environments. In this Ph.D. thesis, we deal with two different BCI paradigms, namely the Steady State Visual Evoked Potential (SSVEP) and the Motor Imagery (MI) paradigm. It is the scope of this thesis to design signal analytic pipelines for EEG data that will decode the users’ intention/choice. The implementations must be characterized by swift and robust responses, characteristics of paramount importance for all BCI implementations. To this end, the SSVEP paradigm was first examined and a novel decoding scheme based on discriminative vector quantization (DVQ) followed by a subsequent nearest-template classification rule was designed. Additionally, the proposed decoder was designed with the scope of avoiding premature activations (i.e. false positives) by associating each prediction with a confidence-level that should exceed a threshold (estimated upon training data) for an activation to occur. The next step of this thesis included the examination of the motor imagery paradigm. This transition was imposed by the fact that SSVEP BCIs do not comply with the notion of a self-paced system, where the user could deliberately initiate an action. The first part of our analysis regarding MI BCIs was dedicated to the identification of differences in the (brain) network organization between people suffering from Neuromuscular disease (NMD) and able bodied. The employed metric was the Phase locking value (PLV), that in association with a support vector machine (SVM) was also used as a means to discriminate between different motor tasks. The final step here was the formulation of an SVM-ensemble as a means to interpret the intention from streaming connectivity patterns. Next, we designed several MI decoding schemes based on the notions of the emerging field of the Graph Signal Processing (GSP) and more specifically on the Graph Fourier Transform (GFT). In our first approach the GFT basis functions are derived upon the functional connectivity associated with a specific imagery movement and moderately constrained by the topographical arrangement of the sensors. Our second approach adopts GFT in a way that it encapsulates the cross-frequency coupling (CFC) between different brain-rhythms, as this is modulated during an MI event. Our final MI decoder based on GFT exploits the Graph Slepians functions that in essence act as spatial filters that enhance the information conveyed by the multichannel signal and as such can be specifically related to the participant's intention. Finally, the graph-clustering technique of Dominant-Set is employed for detecting the subset of sensors with a covariance structure suitable for discriminating between the performed tasks. The decoder was built upon the reduced sample covariance matrixes with an SVM operating within an appropriate Riemannian geometry framework.

Οι Διεπαφές Εγκεφάλου Υπολογιστή (ΔΕΥ) προσφέρουν εναλλακτικά «κανάλια» επικοινωνίας μεταξύ του ανθρώπινου εγκεφάλου και μίας ηλεκτρονικής συσκευής. Η αποκωδικοποίηση της εγκεφαλικής δραστηριότητας και η μετατροπή της σε εντολές μηχανής ολοκληρώνει ένα κλειστό σύστημα, το οποίο μπορεί να λειτουργήσει χωρίς φυσική αλληλεπίδραση. Ο Berger ήταν ο πρώτος που διατύπωσε τη θεωρία της «ανάγνωσης του μυαλού», αλλά η υλοποίηση ενός ολοκληρωμένου συστήματος ΔΕΥ κατέστη δυνατή μόνο τα τελευταία χρόνια. Λόγω του σχεδιασμού τους, οι ΔΕΥ θεωρούνται ιδανικά συστήματα υποστήριξης ατόμων που πάσχουν από κινητική αναπηρία και ως εκ τούτου λαμβάνουν συνεχώς αυξανόμενη προσοχή. Η υλοποίηση μίας ΔΕΥ μπορεί να γίνει μέσω διαφορετικών προσεγγίσεων, ωστόσο το Ηλεκτροεγκεφαλογράφημα (ΗΕΓ) θεωρείται η πιο δημοφιλής επιλογή. Αυτό συμβαίνει κυρίως λόγω του μη επεμβατικού χαρακτήρα του ΗΕΓ ενώ συνεπικουρικά στοιχεία είναι το χαμηλό κόστος, η εύκολη προσάρτηση και η εύκολη ενσωμάτωσή του στην καθημερινότητα των χρηστών. Στα πλαίσια αυτής της διδακτορικής διατριβής μελετήθηκαν δύο διαφορετικού τύπου ΔΕΥ τα οποία βασίζονται σε μετρήσεις ΗΕΓ και πιο συγκεκριμένα στην κατηγορία διεπαφών μέσω Προκλητών Δυναμικών Σταθερής Κατάστασης (Steady State Visual Evoked Potentials; SSVEP) και σε αυτή που σχετίζεται με τη Νοερή Κίνηση (Motor Imagery; MI) των άκρων. Στόχος αυτής της διδακτορικής διατριβής είναι ο σχεδιασμός και η υλοποίηση πρωτοκόλλων ανάλυσης σημάτων ΗΕΓ μέσω των οποίων θα γίνεται η αποκωδικοποίηση των προθέσεων/επιλογών των χρηστών. Οι υλοποιήσεις θα πρέπει να χαρακτηρίζονται από γρήγορες και εύρωστες αποκρίσεις, χαρακτηριστικά τα οποία κρίνονται ζωτικής σημασίας για οποιαδήποτε υλοποίηση ΔΕΥ. Υπό αυτό το πρίσμα η πρώτη κατηγορία που εξετάσθηκε ήταν αυτή των Προκλητών Δυναμικών Σταθερής Κατάστασης, με στόχο τη δημιουργία ενός καινοφανούς συστήματος αποκρυπτογράφησης. Το συγκεκριμένο σύστημα βασίστηκε στις έννοιες του διακριτού κβαντισμού διανυσμάτων αλλά και της κατηγοριοποίησης μέσω του κανόνα πλησιέστερου προτύπου. Το παραπάνω σύστημα σχεδιάστηκε με στόχο την αποφυγή ψευδώς θετικών αποκρίσεων καθώς κάθε πρόβλεψη συνοδευόταν από ένα σκορ εμπιστοσύνης το οποίο υποδείκνυε την ενεργοποίηση ή μη της απόφασης. Στη συνέχεια, ασχοληθήκαμε με την κατηγορία των ΔΕΥ που σχετίζεται με τη Νοερή Κίνηση των άκρων. Η μετάβαση αυτή, προκρίθηκε κυρίως λόγω της αδυναμίας των συστημάτων Προκλητών Δυναμικών Σταθερής Κατάστασης να χρησιμοποιούνται από τους χρήστες αυτόνομα και κατόπιν δικής τους πρόθεσης. Αρχικά, εστιάσαμε στα δεδομένα τα οποία συλλέξαμε από άτομα με Νευρομυϊκές παθήσεις και από αντίστοιχου μεγέθους δείγματος ελέγχου. Η ανάλυση βασίστηκε σε έννοιες αυτό-οργάνωσης πολύπλοκων δικτύων με στόχο την αναγνώριση διαφορών μεταξύ των πληθυσμών. Οι σημαντικές διαφορές που παρατηρήθηκαν στο συγχρονισμό φάσης (PLV) αλλά και στις ιδιότητες του εγκεφαλικού δικτύου (π.χ. Global/Local Efficiency), μπορούν να αποδοθούν στην πάθηση και στον τρόπο με τον οποίο αναδιοργανώνεται ο εγκέφαλος όσο αυτή εξελίσσεται. Σε δεύτερη φάση, έχοντας διαπιστώσει την καταλληλότητα της χρήσης του συγχρονισμού φάσης για την αναγνώριση της νοερής κίνησης σχεδιάσαμε ένα αλγοριθμικό πλαίσιο αποτελούμενο από μια αλληλουχία ταξινομητών το οποίο μπορεί να εντοπίζει την έναρξη της δραστηριότητας που σχετίζεται με την εκτελούμενη νοερή κίνηση. Έπειτα, εξετάσαμε την επεξεργασία σήματος σε επίπεδο γράφων, και πιο συγκεκριμένα το μετασχηματισμό Fourier σε επίπεδο γράφων, με σκοπό την αξιοποίησή του στην ανάλυση ΗΕΓ σήματος κατά την πραγματοποίηση διεργασιών Νοερής Κίνησης. Η πρώτη προσέγγιση αφορούσε τη χρήση της λειτουργικής συνδεσιμότητας στο σχεδιασμό του γράφου. Η δεύτερη προσέγγιση αφορούσε το σχεδιασμό ενός πολύ-επίπεδου γράφου, όπου κάθε επίπεδο αντιστοιχούσε σε δραστηριότητα από διαφορετικό εγκεφαλικό ρυθμό (δηλ. συχνοτικό περιεχόμενο), ενώ η συνδεσιμότητα των κόμβων αντιπροσώπευε τις αλληλεπιδράσεις μεταξύ των διαφορετικών ρυθμών. Η τρίτη προσέγγιση βασιζόταν στην τεχνική των Graph Slepian συναρτήσεων, οι οποίες υλοποιούν περιορισμούς τόσο σε επίπεδο γράφου όσο και σε επίπεδο φάσματος του γράφου. Τέλος, χρησιμοποιήσαμε έναν αλγόριθμο κατηγοριοποίησης ο οποίος δρα σε πίνακες συνδιακύμανσης και μπορεί να εντοπίσει τους αισθητήρες εκείνους οι οποίοι παρουσιάζουν τη μέγιστη διακριτική ικανότητα, ορίζοντας κατά αυτόν τον τρόπο το πιο συνεκτικό υπο-δίκτυο. Έχοντας εντοπίσει το συγκεκριμένο υπο-δίκτυο, οι αναπαραστάσεις των (περιορισμένων) πινάκων συνδιακύμανσης των MI δεδομένων γίνονται σε Ριμάνεια επιφάνεια, ενώ η κατηγοριοποίηση τους γίνεται με τη χρήση Μηχανών Διανυσμάτων Υποστήριξης (Support Vector Machines; SVMs).