Usability evaluation of mobile applications in context of use

Abstract

The quality of interaction with a mobile website is arguably influenced by the prevailing conditions of use. These conditions are also known as the “context” of using the website and involve factors related to the user, the activity, the system and the environment. The characteristics of the latter (levels of luminosity, visual motion, sound semantics, sound variance and proximity) have not been sufficiently addressed in HCI literature yet, partly because they cannot be easily controlled in a usability study. In this thesis, we draw on multidisciplinary theories to propose a model hypothesizing on the effects of environmental context on the usability of mobile websites. We consider environmental cues as distractions and suggest both direct and moderated effects on usability criteria (efficiency, effectiveness, and perceived satisfaction). The research design employed in this study included a literature review, a pilot experiment and a main laboratory experiment employing a causal research approach. Sixty four individuals participated in the final study. The study lasted fifteen days and the half factorial experimental design allowed the main effects of several factors to be studied. The impact of these factors on user performance and satisfaction are cross-examined with findings from well established HCI, Human Factors and Applied Psychology literature. In brief, the results of this hybrid research approach give insight into the negative effects of the independent environmental context variables (luminosity, visual motion, sound semantics, sound variance and proximity) on mobile web usability. In particular, via hierarchical multiple regression analysis we discovered direct and negative environmental context effects on user performance criteria (Effectiveness and Efficiency). However, the results showed that user satisfaction is relatively unaffected by the environmental context. Through ANOVA analysis we also found that mobility acts as mediator of the context-usability relationship and that task workload has a direct and negative effect on usability. Finally, several theoretical and managerial issues are discussed, in order to enhance the knowledge in this field, provide several suggestions for the design of successful mobile websites and finally stimulate and encourage further research in this innovative area. In particular, modern mobile websites should offer minimal interaction, clear structures, high level menus, readable fonts and use natural language in the labeling of extant functionalities. Further, voice interaction is also recommended, as it will release user’s visual, cognitive and memory resources.

Η ποιότητα διάδρασης με ένα κινητό διαδικτυακό τόπο επηρεάζεται αναμφίβολα από τις ισχύουσες συνθήκες χρήσης. Οι συνθήκες αυτές στη βιβλιογραφία αναφέρονται ως το «πλαίσιο χρήσης» του διαδικτυακού τόπου και περιλαμβάνουν χαρακτηριστικά που αφορούν το χρήστη, το σύστημα, την τρέχουσα εργασία και το περιβάλλον. Τα χαρακτηριστικά του περιβάλλοντος (επίπεδα φωτός, κίνησης κοντινών αντικειμένων/ανθρώπων, σημασιολογίας και διακύμανσης του ήχου και εγγύτητας τρίτων) δεν έχουν εξεταστεί ενδελεχώς στην τρέχουσα βιβλιογραφία της επιστήμης της Διάδρασης Ανθρώπου Υπολογιστή, κυρίως λόγω του υψηλού βαθμού δυσκολίας στην αναπαράσταση και στον έλεγχό τους σε μια αξιολόγηση ευχρηστίας. Η διατριβή αυτή χρησιμοποιεί θεωρίες από διαφορετικές επιστήμες, βάσει των οποίων προτείνει το ερευνητικό μοντέλο, όπου υποθέτει τον τρόπο επίδρασης του περιβάλλοντος χρήσης στην ευχρηστία των κινητών διαδικτυακών τόπων. Θεωρούμε ότι οι παράγοντες του περιβάλλοντος χρήσης επηρεάζουν τους παράγοντες ευχρηστίας (Αποτελεσματικότητα, Αποδοτικότητα και Ικανοποίηση) μέσω περισπασμών, ενώ παραθέτουμε τις ερευνητικές υποθέσεις μας για τον τρόπο με τον οποίο διαμορφώνονται οι σχέσεις μεταξύ των παραγόντων αυτών. Ο σχεδιασμός για την έρευνα αυτή περιελάμβανε τη βιβλιογραφική επισκόπηση, το πιλοτικό πείραμα και το κυρίως πείραμα. Εξήντα τέσσερις ήταν οι συμμετέχοντες στο τελικό πείραμα, το οποίο διάρκεσε δεκαπέντε ημέρες, ενώ ο κλασματικά παραγοντικός πειραματικός σχεδιασμός επέτρεψε την ανάλυση των κύριων επιρροών του περιβάλλοντος χρήσης στους παράγοντες της ευχρηστίας. Η διαπιστωμένα αρνητική επίδραση των περιβαλλοντικών παραγόντων στην αποδοτικότητα και αποτελεσματικότητα του χρήστη επαληθεύονται και τεκμηριώνονται βάσει βιβλιογραφικών αναφορών της επιστήμης του HCI, των Ανθρώπινων Παραγόντων και της εφαρμοσμένης Ψυχολογίας. Περιληπτικά, τα πορίσματα της παρούσας έρευνας αναδεικνύουν τα αρνητικά αποτελέσματα των ανεξάρτητων μεταβλητών του περιβάλλοντος στην ευχρηστία κινητών διαδικτυακών τόπων. Συγκεκριμένα, μέσω ιεραρχικής ανάλυσης πολλαπλής παλινδρόμησης αποδείξαμε πως τα επίπεδα Αποτελεσματικότητας και Αποδοτικότητας του χρήστη εξαρτώνται και επηρεάζονται αρνητικά από τα χαρακτηριστικά του περιβάλλοντος που περιγράψαμε παραπάνω. Μολαταύτα, η στατιστική ανάλυση έδειξε ότι δεν υπάρχει σχέση μεταξύ των παραγόντων περιβάλλοντος και της ικανοποίησης του χρήστη από τη χρήση του κινητού διαδικτυακού τόπου. Επίσης, μέσω Ανάλυσης Διακύμανσης (ANOVA) διαπιστώθηκε πως το κατά πόσο ο χρήστης είναι εν κινήσει ή όχι κατά την διάρκεια της χρήσης ενός διαδικτυακού τόπου επηρεάζει την ένταση της σχέσης μεταξύ περιβάλλοντος και ευχρηστίας. Επιπρόσθετα, ο βαθμός δυσκολίας φαίνεται πως επηρεάζει όχι μόνο την Αποδοτικότητα και την Αποτελεσματικότητα του χρήστη, αλλά και την ικανοποίησή του. Τα αποτελέσματα της έρευνας αυτής εμπεριέχουν θεωρητικές και σχεδιαστικές συνέπειες στον ερευνητικό χώρο του HCI. Οι συνέπειες αυτές αναλύονται με γνώμονα τον καλύτερο σχεδιασμό κινητών διαδικτυακών τόπων και τις μελλοντικές ερευνητικές επεκτάσεις. Συγκεκριμένα, οι κινητοί διαδικτυακοί τόποι θα πρέπει να προσφέρουν απλές και μικρές διαδράσεις, ξεκάθαρες δομές πληροφορίας, αναγνώσιμες γραμματοσειρές και φυσική γλώσα στην ονομασία των προσφερόμενων λειτουργιών. Επιπρόσθετα, προς την κατεύθυνση αυτή, προτείνεται και η χρήση φωνητικών τεχνολογιών με αυτόματη αναγνώριση φωνής, με φωνητικά μενού κτλ., ώστε να περιοριστούν οι ανάγκες σε οπτικούς, γνωστικούς και μνημονικούς πόρους, προς όφελος της Αποδοτικότητας και Αποτελεσματικότητας του χρήστη.