Ανάπτυξη ευφυούς συστήματος για τη διάγνωση του ηλεκτρομυογραφήματος

Abstract

In this PhD thesis, a methodology for the automated and quantitative analysis of the electromyographic signal and the development of an intelligent system (and a methodology), for the affective assessment of individuals is presented. Initially, the way the neural and muscle cells function, as well as their structure is described. Then the features of the electromyographic signal, the elements used for its recording and the implementation fields of the electromyogram are outlined. Moreover, the diagnostic value of the electromyogram and the main difficulties that appear during its analysis are reported, while the concept of quantitative analysis of the electromyogram, the techniques for quantitative analysis that have appeared in the literature and their limitations are presented. Then, the structure of the proposed methodology for the automated quantitative analysis of the electromyogram is described. The methodology includes four stages: (i) Preprocessing of the signal aiming in the automated detection of regions of interest (candidate motor unit action potentials), (ii) Clustering of the motor unit action potentials (MUAPS) and calculation of the representative MUAP (template MUAP) for each group. Moreover in this stage the composite action potentials are automatically located and analyzed in their constituent MUAPS. (iii) Calculation of features for every template MUAP (amplitude, duration, rising time, area and number of phases), (iv) Classification of the extracted template MUAPs in normal, myopathic and neuropathic. In this stage two different approaches are used. In the first, a system based on support vector machines is used, while the second is based on a hybrid two-stage classifier. This classifier consists of a radial basis function artificial neural network (RBF ANN) for the classification of the template MUAPs into normal and pathological, and of a decision tree for the classification of the pathological MUAPs into myopathic and neuropathic. The extracted results are compared with the results from other methods mentioned in the literature. The way emotions affect vital signals of a person as well as the developed computational system for the automated estimation of the affective assessment of individuals and its implementation fields, are described. The system consists of three components: (i) The wearable subsystem, which consists of 16 facial electromyographic sensors, a piezoelectric respiration sensor, the electrocardiographic sensor and the skin conductivity sensor, (ii) The data acquisition and wireless communication subsystem, which is responsible for the safe reception and broadcasting of the selected biosignals and (iii) the centralized subsystem. The central unit processes the biosignals and produces a “diagnosis” concerning the emotional situation of the user. It also shows a 3-D model of the face of the user where his expressions are depicted in real time and it activates an alert system in the case the user experiences an “extreme” emotional situation. The proposed methodology for the estimation of basic emotional states of individuals consists of 3 stages, (i) The acquisition and preprocessing of biosignals (surface electromyograms of selected muscles of the face, electrocardiogram, respiration and electric conductance of the skin), (ii) the feature extraction and (iii) the assessment of the affective state of the user. In the third stage, the classification of the user’s affective state takes place into one of the predetermined emotional states. For this purpose a support vector machine system is used as well as an Adaptive Neuro-Fuzzy System (ANFIS). The proposed computational system is applied and validated in two different fields of interest: (i) In simulated conditions of car racing driving and (ii) in the framework of a pro-clinical study. The performance of the proposed system was found high compared to the performance of other systems appeared in literature.

Στην παρούσα διδακτορική διατριβή, μελετάται η ανάπτυξη μιας μεθοδολογίας για την αυτόματη, ποσοτική ανάλυση, του ηλεκτρομυογραφικού σήματος, καθώς και η δημιουργία ενός ευφυούς συστήματος για τη διάγνωση των βασικών συναισθηματικών καταστάσεων των ατόμων. Στο πρώτο μέρος, αρχικά περιγράφεται η δομή και ο τρόπος λειτουργίας των νευρικών και μυϊκών κυττάρων. Παρατίθενται τα βασικά χαρακτηριστικά του ηλεκτρομυογραφικού σήματος, των συστημάτων που χρησιμοποιούνται για την καταγραφή του και τα πεδία εφαρμογής του ηλεκτρομυογραφήματος. Στη συνέχεια, αναφέρεται η διαγνωστική σημασία του ηλεκτρομυογραφήματος και οι σημαντικότερες δυσκολίες που εμφανίζονται κατά την ανάλυσή του, ενώ εισάγεται η έννοια της ποσοτικής ανάλυσης του ηλεκτρομυογραφήματος, οι βασικότερες τεχνικές ποσοτικής ανάλυσης που έχουν παρουσιαστεί στη διεθνή βιβλιογραφία και οι περιορισμοί τους. Ακολουθεί η περιγραφή της δομής και των επιμέρους σταδίων της προτεινόμενης μεθοδολογίας για την αυτόματη ποσοτική ανάλυση του ηλεκτρομυογραφήματος. Τα στάδια της μεθοδολογίας είναι: (i) Προεπεξεργασία του σήματος με σκοπό την αυτόματη ανίχνευση περιοχών ενδιαφέροντος (υποψήφιων κινητικών δυναμικών), (ii) ομαδοποίηση (clustering) κινητικών δυναμικών και υπολογισμός ενός αντιπροσωπευτικού κινητικού δυναμικού (πρότυπο κινητικό δυναμικό) για κάθε ομάδα. Επιπλέον κατά το στάδιο αυτό τα σύνθετα κινητικά δυναμικά εντοπίζονται αυτόματα και αναλύονται στα επιμέρους απλά κινητικά δυναμικά από τα οποία αποτελούνται, (iii) υπολογισμός χαρακτηριστικών για κάθε πρότυπο κινητικό δυναμικό (πλάτος, διάρκεια, χρόνο ανόδου, εμβαδόν και αριθμός φάσεων), (iv) κατηγοριοποίηση των εξαγόμενων πρότυπων κινητικών δυναμικών σε φυσιολογικά, μυοπαθή και νευροπαθή. Στο στάδιο αυτό χρησιμοποιήθηκαν δύο διαφορετικές προσεγγίσεις. Κατά την πρώτη προσέγγιση χρησιμοποιείται ένα σύστημα διανυσμάτων υποστήριξης (support vector machines) ενώ κατά τη δεύτερη προσέγγιση ένας ταξινομητής δύο σταδίων. Ο ταξινομητής αυτός αποτελείται από ένα τεχνητό νευρωνικό δίκτυο ακτινικής συνάρτησης βάσης (radial basis function artificial neural network RBF ANN) για την κατηγοριοποίηση των πρότυπων κινητικών δυναμικών σε φυσιολογικά και παθολογικά και από ένα δέντρο αποφάσεων (decision tree) για την κατηγοριοποίηση των παθολογικών κινητικών δυναμικών σε μυοπαθή και νευροπαθή. Ακολουθεί η σύγκριση των εξαγομένων αποτελεσμάτων με αυτά που αναφέρονται από άλλες σχετικές μεθόδους στην βιβλιογραφία. Στο δεύτερο μέρος παρουσιάζεται υπολογιστικό σύστημα για την αυτόματη εκτίμηση βασικών συναισθηματικών καταστάσεων των ατόμων καθώς και τα πεδία εφαρμογής του. Το προτεινόμενο σύστημα αποτελείται από τρία υποσυστήματα: (i) Από το φερόμενο υποσύστημα, το οποίο αποτελείται από 16 αισθητήρες επιφανειακού ηλεκτρομυογραφήματος προσώπου, ένα πιεζοηλεκτρικό αισθητήρα για τη μέτρηση της αναπνοής, τους αισθητήρες ηλεκτροκαρδιογραφήματος και τον αισθητήρα ηλεκτρικής αγωγιμότητας του δέρματος, (ii) το υποσύστημα λήψης και ασύρματης μετάδοσης δεδομένων, το οποίο είναι υπεύθυνο για την ασφαλή λήψη και μετάδοση των επιλεγμένων βιοσημάτων, και (iii) την κεντρική μονάδα. Η κεντρική μονάδα επεξεργάζεται τα βιοσήματα και εξάγει «διάγνωση» ως προς τη συναισθηματική κατάσταση του χρήστη. Επιπλέον προβάλει ένα τρισδιάστατο μοντέλο του προσώπου του χρήστη στο οποίο απεικονίζονται σε πραγματικό χρόνο οι εκφράσεις του και ενεργοποιεί ένα σύστημα εγρήγορσης (alert) σε περίπτωση που ο χρήστης βιώνει μια «ακραία» συναισθηματική κατάσταση. Η προτεινόμενη μεθοδολογία για την εκτίμηση βασικών συναισθηματικών καταστάσεων των ατόμων αποτελείται από τρία στάδια: (i) Τη λήψη και προεπεξεργασία των βιοσημάτων (επιφανειακά ηλεκτρομυογραφήματα επιλεγμένων μυών του προσώπου, ηλεκτροκαρδιογράφημα, αναπνοή και ηλεκτρική αγωγιμότητα του δέρματος), (ii) την εξαγωγή χαρακτηριστικών και (iii) την εκτίμηση της συναισθηματικής κατάστασης του χρήστη. Στο τρίτο στάδιο γίνεται κατηγοριοποίηση (classification) της συναισθηματικής κατάστασης του χρήστη σε προκαθορισμένες συναισθηματικές καταστάσεις. Για το σκοπό αυτό χρησιμοποιήθηκαν ένα σύστημα διανυσμάτων υποστήριξης (SVM) καθώς και ένα νευροασαφές προσαρμοστικό σύστημα (Adaptive Neuro-Fuzzy System -ANFIS). Το προτεινόμενο υπολογιστικό σύστημα εφαρμόστηκε και αξιολογήθηκε σε δύο διαφορετικά πεδία ενδιαφέροντος (i) σε συνθήκες προσομοίωσης αγώνων αυτοκινήτων και (ii) σε προκλινική μελέτη. Η επίδοση του προτεινόμενου συστήματος βρέθηκε υψηλή συγκρινόμενη με την επίδοση αντίστοιχων συστημάτων της βιβλιογραφίας.