Παρακολούθηση ψυχοσωματικής κατάστασης οδηγού με χρήση βιοσημάτων

Abstract

Among the most important factors in accident provocation is the human factor. Driver's loss of attention, aggressiveness and inefficient decision making, often lead to hazardous situations. A common reason of all the above is the physiological state of the driver. The last few decades several studies have designated the role of physiological state in driving performance and accident provocation. However, the design of in-vehicle systems, able to assess physiological state with high credibility and in a rather unobtrusive way is still an ambitious goal. This thesis makes a contribution towards the goal of driver's status recognition in a real-car application. Based mainly on the monitoring of driver's physiological signals and using additional sources such as video from driver's face as well as driving environment information, we focused on the detection of driver's fatigue and stress levels. The data used were collected during a long-lasting experimental protocol on a real driving environment and under different weather, traffic and road conditions. During the real-world experiments a set of physiological signals have been recorded, in particular: electrocardiograph (ECG), respiration and electrodermal activity (EDA), from which a number of features from both time and frequency space were extracted. The set of features were examined in terms of their contribution to the detection of fatigue and stress and the most powerful indicators for each state of interest were selected following a feature selection technique. Four different classifiers were employed and the classification results were evaluated in terms of sensitivity, specificity and accuracy. Our results indicate good performance for both fatigue and stress classification problems. The evaluation of features' contribution to the detection of the two states revealed that all information sources contribute equally to the two-class stress classification problem, while a three-class fatigue classification is feasible by using physiological features only, as those are the features with the major contribution. Although the majority of relevant works concentrate on the detection of high levels of fatigue (drowsiness) with our methodology we can achieve also detection of early fatigue stages (low fatigue). To quantify the impact of these early fatigue stages on driving performance, we built a driving simulation environment, which allowed us to monitor driving performance measures (i.e. reaction times) and correlate them with the states under investigation. The outcomes of the simulation study verified the association of the different fatigue levels and the physiological features used for their classification with the degree of impairment in driver's performance. This finding demonstrates the value and potential of an in-vehicle system able to recognize progressive fatigue levels and predict driver's reaction time based on physiological signals monitoring. Unlike fatigue which is a progressive state, driver stress is a more time-variant condition which is highly dependent on the driving context and it is temporarily influenced by events occurring en-route. We call the driving environment-related events (such as overtake, hard braking, junction, curve, etc.) "driving events" and the temporal stress that may impose to the driver, "stress events". The detection of stress events can contribute to the driver's state estimation in the sense that the frequent occurrence of stress events could have more prolonged effects on driver's state, i.e. increase the overall driver's stress level. In our thesis, we developed a methodology for online detection of stress events, using the same set of physiological signals (ECG, Respiration, EDA) as well as driving behavior parameters (position, velocity, acceleration, deceleration) acquired from car equipment (GPS and CAN bus). We achieved 95% accuracy in the detection of stress events which is expected to increase with the introduction of visual information from the road environment. A very important requirement for a system for driver physiological state assessment, is the adaptation of system's parameters on the physiological features of new drivers. We consider a system based on a Gaussian mixture model, and the basic assumption is that the feature distribution of the new driver is a geometric transformation of the feature distribution used for the training of the system. The method is based on the Expectation-Maximization (EM) approach for the estimation of the geometric transformation applied on the initial Gaussian Mixture model. We evaluated the proposed method using artificial dataset. Since EM is a local optimization algorithm, the method does not guarantee the correct solution identification. To confront this limitation, we proposed a multiple start EM algorithm which increased the method performance. Next we extended the model allowing each mixture component to have an individual (local) transformation, and applied a MAP-EM approach for estimating both the common (global) transformation as well as the local ones. We evaluated the proposed method using both artificial and real driver's data, collected in a simulation environment. Apart from adaptation to new drivers, the proposed method can be applied also to other problems, such as image registration and tracking. Based on the fact that driver's state is a significant factor for road safety, we made a step further and designed the building blocks of an advanced driver support systems that exploits driver's state estimation as well as vehicle communication abilities for increasing safety in every day driving. As a first step we developed a simulation environment of vehicle to vehicle (V2V) and vehicle to infrastructure (V2I) communication. Experiments on the simulation environment confirmed that the exploitation of those types of communication can increase driving safety. Moreover, it helped to define minimum requirements for communication characteristics (range, latencies and broadcasting frequency) in realistic scenarios of co-operative driving. The second step was the implementation of two basic subsystems: a) the information handler and b) the decision maker. The information handler applies information fusion of low confidence sensors (other vehicles) and employs Bayesian Networks for the extraction of high-level information, useful for the driver. The decision maker is based upon sampling of Dynamic Bayesian networks for driving risk evaluation and decides upon the best warning strategy, taking into account both environmental conditions and driver's state. Concluding, this thesis studies the assessment of driver's psycho-physiological state exploiting mainly physiological signals as well as other information sources towards the development of a real-application driver support system that contributes to the increase of driving safety.

Από τους πιο σημαντικούς παράγοντες στην πρόκληση ατυχημάτων είναι ο ανθρώπινος παράγοντας. Μεταξύ άλλων, η μείωση της προσοχής του οδηγού, η επιθετικότητα στην οδήγηση και οι λανθασμένες αποφάσεις, συχνά μπορούν να οδηγήσουν στην πρόκληση ατυχημάτων. Ένα κοινό αίτιο όλων των παραπάνω είναι η ψυχοσυναισθηματική κατάσταση του οδηγού. Τις τελευταίες δεκαετίες έχουν γίνει αρκετές μελέτες που τονίζουν τον ρόλο της ψυχοσυναισθηματικής κατάστασης στην απόδοση του οδηγού και στην πιθανή πρόκληση ατυχημάτων. Ωστόσο η ανάπτυξη συστημάτων που θα βρίσκονται μέσα στο όχημα και θα ανιχνεύουν την κατάσταση του οδηγού με μεγάλη αξιοπιστία και χωρίς να επιβαρύνουν ή να ενοχλούν τον οδηγό, είναι ακόμα σε πρώιμα στάδια. Αντικείμενο έρευνας της παρούσας διατριβής είναι η αναγνώριση της ψυχοσυναισθηματικής κατάστασης του οδηγού σε πραγματικές οδηγικές συνθήκες. Βασιστήκαμε κυρίως στην λήψη και επεξεργασία βιοσημάτων του οδηγού, όπως επίσης σε παρακολούθηση του προσώπου του οδηγού και σε μεταβλητές του περιβάλλοντος οδήγησης για την αναγνώριση των καταστάσεων κούρασης και στρες του οδηγού. Τα δεδομένα που χρησιμοποιήθηκαν συλλέχθηκαν σε ένα μακροχρόνιο στάδιο διεξαγωγής πειραμάτων σε πραγματικές οδηγικές συνθήκες. Στην διάρκεια αυτών των πειραμάτων συλλέξαμε ένα σύνολο από βιοσήματα του οδηγού, και συγκεκριμένα ηλεκτροκαρδιογράφημα, αναπνοή και ηλεκτροδερμική δραστηριότητα. Από τα βιοσήματα, το βίντεο και τις συνθήκες οδήγησης εξάγαμε ένα σημαντικό αριθμό από χαρακτηριστικά και τα αξιολογήσαμε ως προς την συνεισφορά τους στην αναγνώριση τόσο της κούρασης όσο και του στρες. Σε μια διαδικασία επιλογής χαρακτηριστικών, μόνο αυτά με την μεγαλύτερη συνεισφορά χρησιμοποιήθηκαν στο επόμενο βήμα της ταξινόμησης. Τέσσερεις διαφορετικοί ταξινομητές αξιολογήθηκαν ως προς την ακρίβεια ταξινόμησης, την ευαισθησία και την εξειδίκευση. Τα αποτελέσματα μας ήταν πολύ ικανοποιητικά τόσο για την αναγνώριση της κούρασης και του στρες. Στην συνέχεια αξιολογήσαμε την συνεισφορά του κάθε αισθητήρα στην αναγνώριση της κούρασης και τους στρες. Μία τέτοια μελέτη είναι σημαντική στον σχεδιασμό ενός συστήματος αναγνώρισης της κατάστασης του οδηγού, τόσο για την μείωση της πολυπλοκότητας όσο και του κόστους. Τα πειράματα που πραγματοποιήσαμε έδειξαν ότι στην αναγνώριση της κούρασης τα βιοσήματα είναι αυτά που συνεισφέρουν περισσότερο και ειδικότερα το ηλεκτροκαρδιογράφημα φαίνεται να είναι ο σημαντικότερος αισθητήρας, ενώ για το στρες όλοι σχεδόν οι αισθητήρες έχουν παρόμοια συνεισφορά. Ενώ οι περισσότερες σχετικές εργασίες εστιάζουν στην αναγνώριση υψηλών επιπέδων κούρασης (υπνηλία) με την μεθοδολογία μας επιτυγχάνεται επίσης η αναγνώριση των πρώιμων σταδίων της κούρασης (μέτρια κούραση). Για να ποσοτικοποιήσαμε την επίδραση των χαμηλών επιπέδων κούρασης στην οδηγική απόδοση, αναπτύξαμε έναν περιβάλλον εξομοίωσης, το οποίο μας επέτρεψε την καταγραφή μέτρων οδηγικής απόδοσης (όπως χρόνοι αντίδρασης) και την συσχέτιση τους με τα επίπεδα κούρασης. Τα αποτελέσματα από την μελέτη στο περιβάλλον εξομοίωσης επαλήθευσαν την συσχέτιση των διαφορετικών επιπέδων κούρασης και των χαρακτηριστικών από τα βιοσήματα με τον βαθμό μείωσης της οδηγικής απόδοσης. Αυτό το εύρημα επιδεικνύει την αξία και την προοπτική ενός συστήματος ικανού να αναγνωρίζει τα προοδευτικά επίπεδα κούρασης και να προβλέπει τον χρόνο αντίδρασης του οδηγού, βασιζόμενο στην καταγραφή βασικών βιοσημάτων. Αντίθετα με την κούραση, η οποία είναι μία προοδευτική κατάσταση το στρες είναι πιο ευμετάβλητο, καθώς επηρεάζεται σε μεγάλο βαθμό από το περιβάλλον οδήγησης και από γεγονότα που λαμβάνουν χώρα σε αυτό. Ονομάζουμε αυτά τα γεγονότα κατά την διάρκεια της οδήγησης (προσπέραση, απότομη πέδηση κ.α.) “οδηγικά γεγονότα” και το παροδικό στρες που αυτά προκαλούν στον οδηγό “γεγονότα στρες”. Η ανίχνευση των γεγονότων στρες συμβάλλει στην εκτίμηση της ψυχοσωματικής κατάστασης του οδηγού, καθώς η συχνή εμφάνιση τέτοιων γεγονότων μπορεί να προκαλέσει παρατεταμένο στρες στον οδηγό. Σε αυτήν την διατριβή αναπτύξαμε μία μεθοδολογία για την αναγνώριση γεγονότων στρες σε πραγματικό χρόνο, χρησιμοποιώντας το ίδιο σύνολο βιοσημάτων (ηλεκτροκαρδιογράφημα, αναπνοή και ηλεκτροδερμική δραστηριότητα καθώς και παραμέτρους της οδηγικής συμπεριφοράς (θέση, ταχύτητα, επιβράδυνση κ.α.) τα οποία συλλέξαμε από τον εξοπλισμό του αυτοκινήτου (GPS και Can-Bus). Με την χρήση Bayesian δικτύων αναγνωρίζουμε με ακρίβεια 95% τα γεγονότα στρες. Ένα πρόβλημα που συχνά παρουσιάζεται με παρόμοια συστήματα, είναι η ανάγκη για “προσαρμογή” του συστήματος σε ένα νέο οδηγό. Προς αυτήν την κατεύθυνση παρουσιάζουμε μία μέθοδο για την εκτίμηση των παραμέτρων μία μεικτής κανονικής κατανομής η οποία υφίσταται έναν γεωμετρικό μετασχηματισμού. Η μέθοδος βασίζεται στον αλγόριθμο ΕΜ. Καθώς ο αλγόριθμος ΕΜ είναι ένας αλγόριθμος τοπικής βελτιστοποίησης, η μέθοδος δεν εγγυάται την εύρεση της πραγματικής λύσης. Για να αντιμετωπίσουμε αυτόν τον περιορισμό, προτείναμε την χρήση του αλγορίθμου ΕΜ με πολλαπλές εκκινήσεις. Αυτή η προσέγγιση αυξάνει σημαντικά την πιθανότητα εύρεσης της πραγματικής λύσης. Στην συνέχεια επεκτείνουμε το αρχικό μοντέλο, όπου έχουμε έναν κοινό μετασχηματισμό σε όλες τις συνιστώσες, αναθέτοντας έναν τοπικό μετασχηματισμό σε κάθε συνιστώσα. Στις παραμέτρους των τοπικών μετασχηματισμών, θεωρούμε μία εκ των προτέρων κατανομή και χρησιμοποιούμε μία προσέγγιση ΜΑΡ-ΕΜ για την εκτίμηση των παραμέτρων του ολικού και των τοπικών μετασχηματισμών. Δοκιμάσαμε την μέθοδο στην προσαρμογή ενός μοντέλου αναγνώρισης της κατάστασης του οδηγού, το οποίο έχει εκπαιδευθεί σε ένα συγκεκριμένο σύνολο οδηγών, σε νέους οδηγούς. Τα πρώτα αποτελέσματα είναι αρκετά υποσχόμενα. Επίσης πρέπει να τονίσουμε ότι η συγκεκριμένη μέθοδος μπορεί κάλιστα να εφαρμοστεί σε παρόμοια προβλήματα αλλά και σε άλλα όπως η υπέρθεση εικόνων. Βασιζόμενοι στο γεγονός ότι η κατάσταση του οδηγού είναι σημαντική στην οδηγική ασφάλεια, προχωρήσαμε ένα βήμα παραπέρα και μελετήσαμε τα βασικά μέρη ενός “έξυπνου” συστήματος υποβοήθησης του οδηγού το οποίο μπορεί να εκμεταλλευτεί τόσο την κατάσταση του οδηγού όσο και δίκτυα επικοινωνίας μεταξύ αυτοκινήτων. Τέτοια συστήματα στοχεύουν στην αύξηση της οδηγικής ασφάλειας, αφενός επεκτείνοντας το πεδίο αντίληψης του οδηγού και αφετέρου παρέχοντας κατάλληλα ειδοποιητικά μηνύματα στον οδηγό για προσεχείς κινδύνους. Το πρώτο βήμα ήταν ο σχεδιασμός ενός προγράμματος μακροσκοπικής εξομοίωσης ενός οδηγικού περιβάλλοντος με επικοινωνία μεταξύ οχημάτων καθώς και οχημάτων με την υποδομή του δρόμου. Πειράματα σε αυτό το περιβάλλον έδειξαν ότι τέτοια συστήματα μπορούν πράγματι να αυξήσουν την οδηγική ασφάλεια, κάτω από ορισμένες τιμές των παραμέτρων επικοινωνίας (καθυστέρηση, εμβέλεια, συχνότητα εκπομπής). Σε αυτό το σύστημα υπάρχουν δύο βασικά υπομέρη, που στα αρχικά πειράματα θεωρούνταν δεδομένα αλλά χρίζουν εκτενέστερης μελέτης. Το πρώτο είναι ο τρόπος με τον οποίο χειριζόμαστε την πληροφορία. Μελετήσαμε μία μέθοδο με χρήση Bayesian δικτύων για χειρισμό της πληροφορίας από πηγές χαμηλής αξιοπιστίας και εξαγωγής νέας πληροφορίας. Το δεύτερο κομμάτι του συστήματος που εξετάζουμε είναι ο μηχανισμός λήψης αποφάσεων ο οποίος είναι υπεύθυνος για τον τρόπο και τον χρόνο προώθησης μηνυμάτων για την έγκαιρη ειδοποίηση του για πιθανούς κινδύνους. Ο μηχανισμός απόφασης βασίστηκε σε δειγματοληψία δυναμικών Bayesian δικτύων για την εκτίμηση της αναμενόμενης τιμής μίας συνάρτησης κόστους και την εκτίμηση της βέλτιστης ενέργειας. Η συγκεκριμένη διατριβή συνοψίζοντας, μελετά την αναγνώρισης της ψυχοσυναισθηματικής κατάστασης του οδηγού μελετώντας κυρίως βιοσήματα αλλά και άλλες πηγές πληροφοριών και προχωρά στην αξιοποίηση αυτής της πληροφορίας μεταξύ άλλων για την επίτευξη συστημάτων που εντέλει θα συνεισφέρουν στην μείωση των ατυχημάτων και στην αύξηση της ασφάλειας στην οδήγηση.