Αναγνώριση ψυχοσωματικής κατάστασης προσώπου με τη χρήση θερμικής υπέρυθρης ακτινοβολίας

Abstract

In this PhD Thesis various algorithms are proposed and their discrimination capabilities are investigated for drunk persons identification using thermal infrared images of the persons’ faces. The original idea lies on the fact that the blood vessels’ network of the face will present increased activity when the person has consumed alcohol. This could lead to an automated system for discriminating intoxicated persons. Face recognition in the visible spectrum is strongly affected by the conditions of illumination. Acquiring images from faces in thermal infrared spectrum information related to the temperature of the face is obtained which mainly depends on the physiological condition of the person. The human face being in a mean temperature around 300 K, radiates according to the Wien Law as a perfect black body, with maximum at 10μm wavelength. Drunkenness is a challenging physiological condition to be investigated using infrared imagery. However, most of the publications in the literature refer only to automotive anti-drunk driving systems, which utilize electrical signals from the heart or brain. In this PhD Thesis thermal infrared images were employed by means of the thermal infrared camera Thermo Vision Micron/A10 (18mm, F/1.6). During the development of the PhD Thesis, 41 persons consumed alcohol in a controlled way in order to create our database (http://www.physics.upatras.gr/sober/). Seven different approaches are proposed in this thesis to be assessed for identifying intoxication by means of thermal infrared images. In the first these chapters, introductory material is given. In Chapter 4, a simple feature vector was formed for drunk person identification by simply taking 20 different points on the face of each person. Using the Fisher Linear Discriminant Analysis the features space is decreased from twenty to two dimensions, which correspond to the largest eigenvalues. It is apparent that the corresponding clusters for each person after alcohol consumption are moving towards the same direction in the feature space. Accordingly, the feature space can be separated into two regions "drunk" and "sober". In Chapter 5, the temperature differences which are presented on the face after alcohol consumption are discussed. From the experimental results, we observed that specific regions of the face, compared with other regions, increase their temperature after alcohol consumption e.g. forehead-nose, mouth-forehead. Specifically, according to this approach it is not necessary to have the thermal infrared image corresponding to the sober person. In Chapter 6, drunk person identification is examined by means of the activity of blood vessels on the face when the person is drunk. Thermal images are employed to assess the increased activity of the facial vessels which appear brighter when the person consumes alcohol. In Chapter 7, neural networks are tested on infrared images of faces for discriminating drunk persons. Neural networks of the same structure but of different sizes are employed to accommodate the training samples. It is proved in this work that a small neural structure trained on the forehead of a specific person (sober and drunk) presents very good generalization performance and discriminates between sober and drunk without having been trained on the specific person beforehand (90%). In Chapter 8, isothermal regions on the face of sober and intoxicated persons are extensively studied for drunk person identification. It is found that the isothermal regions on the face are changing with alcohol consumption. In Chapter 9, temperature distribution on the eyes of sober and drunk persons is studied by means of thermal infrared images. The temperature difference between the sclera and the iris is examined extensively. Both regions of the eye are of the same temperature for the sober person. For the intoxicated person the iris becomes darker, which means that the sclera temperature increases. Markov procedures are employed in Chapter 10 for the discrimination of drunk persons. In chapter 11, a bank of velocity filters is devised to be used for isolating a moving object with specific velocity (amplitude and direction) in a sequence of frames.

Στη Διδακτορική Διατριβή εξετάζεται η δυνατότητα διαπίστωσης κατάστασης μέθης με τη χρήση θερμικών υπέρυθρων εικόνων του προσώπου. Η ιδέα στηρίζεται στο γεγονός ότι το δίκτυο των αιμοφόρων αγγείων του προσώπου θα παρουσιάζει σε κατάστασης μέθης αυξημένη δραστηριότητα. Η διαπίστωση αυτή θα μπορούσε να οδηγήσει σε ένα αυτόματο σύστημα αναγνώρισης μεθυσμένων, το οποίο θα χρησιμοποιείται από τις αρχές ως ένα πρώτο στάδιο για την διαπίστωση μέθης πριν το άτομο εξεταστεί με το αλκοολόμετρο ή με ανάλυση αίματος. Ωστόσο, οι περισσότερες δημοσιεύσεις στη βιβλιογραφία αναφέρονται μόνο σε συστήματα ελέγχου μέθης που τοποθετεί η αυτοκινητοβιομηχανία στα οχήματα και τα οποία χρησιμοποιούν σήματα από τη καρδιά ή τον εγκέφαλο. Στην εκπόνηση της διδακτορικής χρησιμοποιήθηκαν υπέρυθρες εικόνες οι οποίες αποκτήθηκαν με τη βοήθεια της θερμικής υπέρυθρης κάμερας Thermo Vision Micron/A10 (18mm, πρέπει F/1.6) της εταιρείας FLIR. Το εύρος λειτουργίας της θερμικής υπέρυθρης κάμερας είναι από 7.5 έως 13.0 μm. Σαράντα ένα άτομα κατανάλωσαν αλκοόλ με συντεταγμένο τρόπο για να δημιουργηθεί η βάση δεδομένων (http://www.physics.upatras.gr/sober/). Στη διδακτορική διατριβή εφαρμόστηκαν επτά διαφορετικές προσεγγίσεις για να γίνει ο έλεγχος, εάν οι εικόνες υπέρυθρων μπορούν να αποκαλύψουν την κατάσταση μέθης. Στα κεφάλαια 1-3 δίνονται εισαγωγικές έννοιες για τους παθητικούς θερμικούς αισθητήρες για τη συμπεριφορά του δέρματος στο θερμικό υπέρυθρο καθώς και αναλυτικά στοιχεία για την συμπεριφορά του ανθρώπου στο αλκοόλ. Στο τέταρτο κεφάλαιο, για την αναγνώριση μεθυσμένων χρησιμοποιήθηκαν οι θερμικές τους εικόνες και ως διάνυσμα χαρακτηριστικών απλά σημεία σε διαφορές θέσεις πάνω στο πρόσωπο των εθελοντών. Μέσω εφαρμογής της Fisher Linear Discriminant Analysis μειώθηκε ο χώρος των χαρακτηριστικών από είκοσι σε δύο διαστάσεις. Ο χώρος των χαρακτηριστικών εύκολα διαχωρίζεται σε δυο περιοχές, την "νηφάλια" και την "μεθυσμένη". Στο κεφάλαιο 5, μελετήθηκαν οι θερμοκρασιακές διαφορές που παρουσιάζονται στις περιοχές του προσώπου κατά την κατανάλωση αλκοόλ. Σύμφωνα με αυτή την προσέγγιση δεν είναι απαραίτητο να έχουμε την θερμική εικόνα του ατόμου στην νηφάλια κατάσταση. Για παράδειγμα, μόνο η θερμική εικόνα του μεθυσμένου είναι χρήσιμη για να εκτιμήσουμε την κατάστασή του, καθώς για παράδειγμα η θερμοκρασία της μύτης στον μεθυσμένο είναι πάντα πιο υψηλή από την θερμοκρασία του μετώπου. Στο κεφάλαιο 6, για την αναγνώριση των μεθυσμένων, μελετήθηκε η δραστηριότητα των αιμοφόρων αγγείων του προσώπου. Αυτή η προσέγγιση στηρίζεται στο γεγονός, ότι τα αιμοφόρα αγγεία του προσώπου παρουσιάζουν μεγαλύτερη δραστηριότητα και επιπλέον κάποια από αυτά εμφανίζονται πιο φωτεινά όταν το άτομο καταναλώνει αλκοόλ. Στο έβδομο κεφάλαιο, η αναγνώριση των μεθυσμένων διερευνήθηκε μέσω της εφαρμογής νευρωνικών δικτύων στις θερμικές υπέρυθρες εικόνες των προσώπων τους. Οι μεγάλες νευρωνικές δομές επιτυγχάνουν υψηλότερη απόδοση στην αναγνώριση μεθυσμένων όταν εφαρμόζονται σε ολόκληρο το πρόσωπο. Τέλος, οι μικρές νευρωνικές δομές επιτυγχάνουν πάνω από 90% όταν εφαρμόζονται μόνο στο μέτωπο. Στο όγδοο κεφάλαιο, μελετήθηκαν εκτενώς ισοθερμικές περιοχές στο πρόσωπο του νηφάλιου και του μεθυσμένου. Οι ισοθερμικές περιοχές στο πρόσωπο αλλάζουν με την κατανάλωση ποσότητας αλκοόλ. Στο ένατο κεφάλαιο, μελετήθηκε η κατανομή της θερμοκρασίας στα μάτια. Ο σκληρός χιτώνας και η ίριδα του ματιού βρίσκονται στην ίδια θερμοκρασία όταν το άτομο είναι σε νηφάλια κατάσταση. Στην περίπτωση του μεθυσμένου, η ίριδα γίνεται σκοτεινότερη, πράγμα που σημαίνει ότι η θερμοκρασία του σκληρού χιτώνα έχει αυξηθεί. Στο δέκατο κεφάλαιο, εφαρμόστηκαν οι διαδικασίες Markov με σκοπό να διαχωριστεί το πρόσωπο του μεθυσμένου. Ένα ηλεκτρονικό σύστημα εφοδιασμένο με μια κάμερα θερμικού υπερύθρου μπορεί να ενσωματώνει μια από τις προτεινόμενες μεθόδους και να υποδεικνύει στην αστυνομία σε ποιους θα πρέπει να γίνει οπωσδήποτε έλεγχος με αλκοολόμετρο ή με εξέταση αίματος. Όλες οι μέθοδοι είναι μη-επεμβατικές (non-invasive) και ταχύτατες. Στο ενδέκατο κεφάλαιο, πραγματοποιήθηκε ο σχεδιασμός τράπεζας φίλτρων ταχύτητας.