Human-computer interaction: evaluating the user experience of interactive information systems based on bio-signals analysis

Abstract

Stress constitutes a problem of growing importance in our society. Although it may have positive effects on certain aspects of life (eustress), the majority of users of interactive systems have associated stress with negative experiences (distress). It has been proved that prolonged exposure to stressful life conditions (e.g. poverty, family problems, job strain etc.) reduces users’ productivity significantly and affects their overall health. More specifically, it is estimated that the cost of work-related stress is € 617 billion per year (at European level). Therefore, it is important to identify stress periods during users’ interaction with a system in a reliable and efficient way. The present doctoral thesis proposes the development of the REACTION methodology. This methodology is supported by an observation analysis software named PhysiOBS and can be applied during the evaluation of user experience (User eXperience, UX). In particular, REACTION focuses on the automatic detection of problematic interaction periods (design and/or operational errors) associated with stress by using bio-signals (e.g. skin conductance, heart rate, skin temperature etc.). Bio-signals have been adopted by many researchers and practitioners during UX evaluation in order to address the challenge of an efficient and effective way to detect stress. The objectivity of bio-signals (the typical user cannot easily manipulate this type of data, as they could possibly do with facial expressions) and the ability to record them in the background of an interaction are the two key features which, in combination with the evolution of recording sensor technology, have contributed to their wider acceptance. Conversely, the use of bio-signals requires specialized knowledge on data analysis, special handling of the recording equipment (e.g. proper placement), and appropriate experimental conditions in order to collect reliable datasets. In addition, their recording should be executed by users who meet the necessary conditions for participation in the experimental process (e.g. the measurement of skin conductivity should not be applied to someone who has a medical condition related to sweating). Skin conductivity is a reliable indicator of stress and it is the signal on which this research was based. More specifically, skin conductivity represents the ability of the skin to conduct electricity as a result of the sympathetic activation of the sweat glands of the skin (in each activation of the sweat glands, the dermal conductivity of the skin increases). Apart from skin conductance, additional data sources, such as user videos and comments - data recorded during the interaction - can also be deployed by the UX evaluator in the context of REACTION implementation, thus contributing to a multifaceted evaluation approach. In the context of the present doctoral thesis, a series of experiments were conducted with the aim of creating an appropriate stress recognition mechanism through bio-signals as well as the operation and the integration of the above mechanism in PhysiOBS. The results of the research showed that the proposed evaluation method REACTION can reliably identify periods of stress. REACTION can be applied either independently or in combination with other traditional UX evaluation methods (e.g. user observation, speech subject protocol). It should be noted that this thesis does not posit to replace traditional UX evaluation methods with REACTION. On the contrary, REACTION is proposed as a supplementary technique allowing researchers and practitioners to be more effective while managing the available UX data sources.

Το στρες αποτελεί ένα κοινωνικό φαινόμενο το οποίο παρουσιάζει ανοδική τάση. Το στρες είναι ένα σύνθετο συναίσθημα που σε ορισμένες εκφάνσεις της ζωής μπορεί να έχει θετική επίδραση (eustress). Παρ’ όλα αυτά η πλειοψηφία των χρηστών διαδραστικών συστημάτων το έχει συνδέσει με αρνητικές εμπειρίες (distress). Έχει διαπιστωθεί ότι η παρατεταμένη έκθεση σε στρεσογόνο περιβάλλον μπορεί να μειώσει σημαντικά την παραγωγικότητα των χρηστών και να επηρεάσει την υγεία τους συνολικά. Πιο συγκεκριμένα, έχει υπολογιστεί ότι το κόστος του σχετιζόμενου με την εργασία στρες ανέρχεται στα 617 δις ευρώ ετησίως (σε Ευρωπαϊκό επίπεδο). Ως εκ τούτου, είναι σημαντικό να μπορεί κανείς να εντοπίσει με αξιόπιστο και αποδοτικό τρόπο σημεία που προκαλούν στρες κατά τη διάρκεια της αλληλεπίδρασης με ένα σύστημα. Στην παρούσα διατριβή προτείνεται η ανάπτυξη της μεθοδολογίας REACTION. Η μεθοδολογία υποστηρίζεται από κατάλληλο λογισμικό ανάλυσης και παρατήρησης, το PhysiOBS, και μπορεί να εφαρμοστεί κατά τη διάρκεια της αξιολόγησης της εμπειρίας χρήσης (User eXperience, UX). Ειδικότερα, η REACTION επικεντρώνεται στον αυτόματο εντοπισμό προβληματικών σημείων αλληλεπίδρασης που συνδέονται με την πρόκληση στρες κάνοντας χρήση βιοσημάτων (π.χ. επιδερμική αγωγιμότητα, καρδιακή συχνότητα, επιδερμική θερμοκρασία κ.ά.). Το στρες μπορεί να προκληθεί κατά τη διάρκεια της αλληλεπίδρασης με εφαρμογές που περιέχουν σχεδιαστικά ή και λειτουργικά σφάλματα. Η χρήση των βιοσημάτων έχει υιοθετηθεί πλέον από πολλούς ερευνητές και επαγγελματίες του πεδίου ΑΑΥ κατά τη διαδικασία αξιολόγησης της εμπειρίας χρήσης. Η αντικειμενικότητά τους (ο τυπικός χρήστης δεν μπορεί να ελέγξει εύκολα τα φυσιολογικά δεδομένα, όπως θα μπορούσε ενδεχομένως να συμβεί με τις εκφράσεις του προσώπου) και η δυνατότητα καταγραφής τους καθ’ όλη τη διάρκεια της αλληλεπίδρασης αποτελούν δύο βασικά χαρακτηριστικά, τα οποία, σε συνδυασμό με την εξέλιξη της τεχνολογίας των αισθητήρων καταγραφής, συνέβαλαν στην ευρύτερη αποδοχή τους. Στον αντίποδα, τα βιοσήματα απαιτούν εξειδικευμένη γνώση ανάλυσης δεδομένων, γνώση χρήσης του εξοπλισμού καταγραφής (π.χ. σωστή τοποθέτηση) και εμπειρία στη διαμόρφωση κατάλληλων πειραματικών συνθηκών προκειμένου να συλλεχθούν αξιόπιστα δεδομένα. Επιπλέον, η συλλογή τους πρέπει να γίνεται από χρήστες που πληρούν τις απαραίτητες προϋποθέσεις συμμετοχής στην εκάστοτε πειραματική διαδικασία (π.χ. η μέτρηση της αγωγιμότητας του δέρματος δε θα πρέπει να εφαρμοστεί σε κάποιον ο οποίος παρουσιάζει a priori υψηλά επίπεδα εφίδρωσης λόγω κάποιου παθολογικού προβλήματος). Η μέτρηση της δερμικής αγωγιμότητας αποτελεί αξιόπιστο δείκτη του στρες και είναι το σήμα στο οποίο βασίστηκε η έρευνα σε αυτήν τη διατριβή. Πιο συγκεκριμένα, η δερμική αγωγιμότητα αναπαριστά την ικανότητα του δέρματος να άγει ηλεκτρισμό ως αποτέλεσμα της συμπαθητικής ενεργοποίησης των ιδρωτοποιών αδένων του δέρματος. Δηλαδή, σε κάθε ενεργοποίηση των ιδρωτοποιών αδένων αυξάνεται η αγωγιμότητα του δέρματος. Επιπλέον, παραδοσιακές πηγές δεδομένων, όπως βίντεο και σχόλια του χρήστη –δεδομένα που έχουν καταγραφεί κατά τη διάρκεια αλληλεπίδρασης–, μπορούν επίσης να συνδυάζονται από τον αξιολογητή στο πλαίσιο εφαρμογής της REACTION, συνεισφέροντας με αυτόν τον τρόπο σε μία πιο πολύπλευρη προσέγγιση αξιολόγησης της εμπειρίας χρήσης. Στο πλαίσιο της παρούσας διατριβής πραγματοποιήθηκε μία σειρά από μελέτες με στόχο τη δημιουργία ενός κατάλληλου μηχανισμού αναγνώρισης του στρες μέσω της επιδερμικής αγωγιμότητας, την ενσωμάτωση αλλά και τη δοκιμαστική λειτουργία του παραπάνω μηχανισμού στο υποστηρικτικό λογισμικό PhysiOBS. Τα αποτελέσματα της έρευνας έδειξαν ότι η προτεινόμενη μεθοδολογία αξιολόγησης REACTION μπορεί αξιόπιστα να εντοπίσει περιόδους άγχους και μπορεί να εφαρμοστεί είτε αυτόνομα είτε σε συνδυασμό με άλλες μεθόδους αξιολόγησης της εμπειρίας χρήσης (π.χ. παρατήρηση χρήστη, πρωτόκολλο ομιλούντων υποκειμένων). Συνοψίζοντας, πρέπει να τονιστεί ότι σε καμία περίπτωση δεν προτείνεται η αντικατάσταση των παραδοσιακών τεχνικών αξιολόγησης της εμπειρίας χρήσης με τη REACTION. Αντιθέτως, υποστηρίζεται ότι η μεθοδολογία μπορεί να χρησιμοποιείται συμπληρωματικά επιτρέποντας στους ερευνητές και επαγγελματίες του πεδίου να διαχειρίζονται πιο αποδοτικά τις διαθέσιμες πηγές δεδομένων που καταγράφονται.