Development of evaluation method for visual design with multivariate statistical techniques

Abstract

The main goal of this thesis is to propose an evaluation method for visual interface design and more specifically for website design. The proposed visual design evaluation method is an adaptation of Preference Mapping (PM) techniques. It is based on overall preference ratings after multiple comparisons of alternative designs and on various multivariate statistical techniques for the analysis, visualization and interpretation of the resulting data. The suitability of the approach for visual interface design evaluation has been explored in four case studies involving overall 149 participants judging 51 websites. In each case study a different website domain was explored in order to examine whether the importance of certain design characteristics is context specific. Heterogeneity in preferences and perceptions was also studied showing that average construct scores are only representative for subsections of the participant sample. In order to aid the preference interpretation process additional data about study websites have been collected from three distinct sources: a) Subjective construct ratings provided by the participants after preference evaluation, b) Descriptive attribute ratings obtained from trained expert panel on the same websites, c) Objective measures of visual characteristics of the websites. In each case study the potential of these types of measurements to explain preference variance has been investigated individually and in combination. The results showed that depending on the characteristics of each case study varying combinations of these types of data had the best explanatory power. A variety of methods (e.g. Internal and External PM) and statistical techniques (e.g. Principal Component Analysis (PCA), Generalized Procrustes Analysis (GPA) and Partial Least Squares (PLS)) have been used in order to summarize and visualize participant preference data of all case studies. In general, the method proposed in this thesis has several advantages over other visual design evaluation methods as for example use of standardized questionnaires. The method is flexible and can be used in various stages of design development but most importantly it allows for the identification of important visual design characteristics without ignoring the diversity that exist both among users and among website domains. These advantages have been demonstrated in the visual design evaluation studies presented in this thesis involving websites from four distinct domains.

Ο στόχος της παρούσας διατριβής είναι η πρόταση και ανάπτυξη μεθόδου αξιολόγησης διεπιφανειών χρήστη που θα λαμβάνει υπόψη τόσο τα αντικειμενικά χαρακτηριστικά σχεδιασμού, όσο και την υποκειμενική διάσταση που διέπει αξιολογήσεις με επίκεντρο τον χρήστη. Για την επίτευξη του στόχου αυτού αναπτύχθηκε μέθοδος αξιολόγησης, η οποία βασίζεται στην συγκριτική αξιολόγηση εναλλακτικών σχεδιασμών κατά την φάση συλλογής δεδομένων και στην χαρτογράφηση προτίμησης κατά την φάση ανάλυσης αποτελεσμάτων. Για την διερεύνηση της καταλληλότητας της προτεινόμενης μεθόδου αξιολόγησης, διεξήχθησαν τέσσερις μελέτες περίπτωσης κατά τις οποίες αξιολογήθηκαν συνολικά 51 ιστοσελίδες από 149 αξιολογητές. Κάθε μελέτη περίπτωσης διερευνούσε διαφορετική κατηγορία ιστοσελίδων και διαφορετικά σενάρια χρήσης της μεθόδου (π.χ. φάση προδιαγραφών, αξιολόγηση πρωτοτύπων κ.α.), έτσι ώστε να αξιολογηθεί η δυνατότητα της μεθόδου να εφαρμοστεί σε διαφορετικές συνθήκες. Σημαντικό πλεονέκτημα της προτεινόμενης μεθόδου είναι η δυνατότητα αναγνώρισης ετερογένειας απόψεων του δείγματος, η οποία σε άλλες μεθόδους αξιολόγησης θεωρείται θόρυβος στα δεδομένα και παραβλέπεται. Τα αποτελέσματα των αξιολογήσεων αναδεικνύουν σημαντική ετερογένεια αλλά και σχετική συμφωνία στις προτιμήσεις και αντιλήψεις των συμμετεχόντων. Με στόχο την ερμηνεία των αποτελεσμάτων από τα πειράματα αξιολόγησης διερευνήθηκαν τρεις πηγές δεδομένων πέρα από τις ταξινομήσεις προτίμησης από τους συμμετέχοντες σε όλες τις μελέτες περίπτωσης: α] αξιολογήσεις βάσει υποκειμενικών χαρακτηριστικών από τους ίδιους τους συμμετέχοντες που ταξινόμησαν τις ιστοσελίδες με βάση την προτίμηση τους, β) αξιολογήσεις περιγραφικών και αντικειμενικών σχεδιαστικών χαρακτηριστικών από ομάδα εκπαιδευμένων εμπειρογνωμόνων, γ) Αντικειμενικές μετρήσεις σχεδιαστικών χαρακτηριστικών με αυτόματα και ημιαυτόματα εργαλεία αναγνώρισης εικόνας. Η δυνατότητα να ερμηνευτούν οι προτιμήσεις των χρηστών με την βοήθεια αυτών των πηγών δεδομένων, διερευνήθηκε ξεχωριστά αλλά και σε συνδυασμό σε κάθε μελέτη περίπτωσης. Στόχος ήταν να αποτιμηθεί η δυνατότητα συσχέτισης δεδομένων που διακατέχονται από διαφορετικά επίπεδα υποκειμενισμού με τις προτιμήσεις των συμμετεχόντων. Ιδανικά, θα αρκούσαν αντικειμενικές μετρήσεις και δεν θα επιβαρύνονταν οι χρήστες με επιπλέον βαθμολογήσεις των διεπιφανειών. Τα αποτελέσματα όμως έδειξαν ότι ένας συνδυασμός αντικειμενικών και υποκειμενικών xαρακτηριστικών ήταν ο βέλτιστος για την επιτυχή ερμηνεία των προτιμήσεων των χρηστών. Η μέθοδος αξιολόγησης που προτείνεται στα πλαίσια αυτής της διατριβής παρουσιάζει συγκριτικά πλεονεκτήματα σε σχέση με την χρήση τυποποιημένων ερωτηματολόγιων που είναι η επικρατέστερη μέθοδος στον χώρο της επικοινωνίας ανθρώπου υπολογιστή. Τα πλεονεκτήματα αυτά σχετίζονται κυρίως με την ευελιξία της μεθόδου και γίνονται εμφανή στις μελέτες αξιολόγησης που διεξήχθησαν με στόχο την εφαρμογή της μεθόδου για την αξιολόγηση ιστοσελίδων που ανήκουν σε τέσσερα διαφορετικά πεδία εφαρμογής.