The importance of items level of measurement in investigating the structure and assessing the psychometric properties of multidimensional constructs

Abstract

Investigating the structure and assessing the psychometric properties of multidimensional scales before their application is a prerequisite of scaling theory. This involves splitting a sample of adequate size randomly into two halves and first performing Exploratory factor analysis (EFA) on one half-sample in order to assess the construct validity of the scale. Then the structure identified by EFA is validated by carrying out Confirmatory factor analysis (CFA) on the second half. As in any statistical analysis ─ whether univariate, bivariate or multivariate ─ the first and most important consideration is to ascertain the level of measurement of the input variables, in this instance the defining items of the scale. This guides the correct choice of the methods to be used. In this doctoral dissertation, we carry out the investigation and assessment of Schwartz’s human values scale included in the European Social Survey (ESS) when items are considered as pseudo-interval and the 2012 ESS measurement of wellbeing when items are considered as both ordinal and pseudo-interval. It is a methodological study aiming at demonstrating the importance of items’ level of measurement in carrying out a psychometric validation of multidimensional constructs. Schwartz’s human values scale has been widely used by social and cross-cultural psychologists in order to study differences in values among individuals and includes the ten motivationally distinct basic values which encompass the major value orientations recognized cross-culturally: power, achievement, hedonism, stimulation, self-direction, universalism, benevolence, tradition, conformity and security. The measurement of wellbeing provides an important indicator of the welfare of nations and presents opportunities for policy making. Researchers generally share the view of wellbeing as a multidimensional concept. The 2012 ESS measurement of personal and social wellbeing, a combination of theoretical models and evidence from statistical analysis, is defined as a six-dimensional construct: evaluative wellbeing, emotional wellbeing, functioning, vitality, community wellbeing and supportive relationships. The theoretical structure of both scales has been thoroughly documented. The analysis was based on the ESS Round 1 to Round 7 Data (2002-2014) for 16 European countries: Belgium, Denmark, Finland, France, Germany, Hungary, Ireland, Netherlands, Norway, Poland, Portugal, Slovenia, Spain, Sweden, Switzerland and the UK. In the case of Schwartz’s human values scale, EFA resulted in a two-factor solution for 41 cases, a three-factor solution for 51 cases and a four-factor solution for 20 cases. In the case of wellbeing scale, EFA resulted in a four-factor solution and a five-factor solution for seven countries, respectively, and a six-factor solution for two countries. These results were supported by CFA performed on the second half-samples. Subscales were constructed based on analysis of the total samples, and reliabilities, convergent and discriminant validities and internal consistencies were investigated. Although the definition of each subscale differs from the documented theoretical structures and across countries the analysis contributes to the growing research on the measurement of Schwartz’s human values and wellbeing by providing reliable and valid subscales for each country that can be used by social researchers in their analyses. The methodology presented may be easily applied to other Likert-type scales or scales using both ordinal and pseudo-interval items which are defined as multidimensional by theory. In the case of theory development, the preliminary considerations and the sequence of decisions for performing EFA may be applied with the appropriate modifications

Η διερεύνηση της θεωρητικής δομής και η εκτίμηση των ψυχομετρικών ιδιοτήτων πριν την εφαρμογή πολυδιάστατων κλιμάκων είναι προαπαιτούμενο της θεωρίας κλιμάκων. Αυτό περιλαμβάνει την τυχαία διχοτόμηση ενός δείγματος επαρκούς μεγέθους σε δύο ημι-δείγματα διενεργώντας αρχικά Διερευνητική Παραγοντική Ανάλυση (ΔΠΑ) στο πρώτο ημι-δείγμα προκειμένου να εκτιμηθεί η εγκυρότητα κατασκευής της εννοίας της κλίμακας. Στη συνέχεια ακολουθεί η επαλήθευση της δομής με την εφαρμογή Επιβεβαιωτικής Παραγοντικής Ανάλυσης (ΕΠΑ) στο δεύτερο ημι-δείγμα. Όπως σε κάθε στατιστική ανάλυση – μονοδιάστατη, διμεταβλητή ή πολυμεταβλητή – το πρώτο και σημαντικότερο που πρέπει να ληφθεί υπόψη είναι η θεώρηση του επιπέδου μέτρησης των μεταβλητών και στην προκειμένη περίπτωση των ερωτήσεων-μονάδων που προσδιορίζουν την κλίμακα. Με αυτόν τον τρόπο καθοδηγείται η σωστή επιλογή της μεθόδου που θα χρησιμοποιηθεί. Στην παρούσα διδακτορική διατριβή, εξετάζουμε τη διερεύνηση και την εκτίμηση της κλίμακας ανθρωπίνων αξιών του Schwartz, που περιλαμβάνεται στην Ευρωπαϊκή Κοινωνική Έρευνα (ΕΚΕ), όταν οι ερωτήσεις-μονάδες θεωρούνται ψευδο-διαστήματος και της μέτρησης της ευζωίας της ΕΚΕ για το 2012 όταν οι ερωτήσεις-μονάδες θεωρούνται τακτικές και ψευδο-διαστήματος. Πρόκειται για μία μεθοδολογική έρευνα που επιχειρεί να αποδώσει τη σημασία του επιπέδου μέτρησης κατά τη διερεύνηση του διαστατού και την αποτίμηση των ψυχομετρικών ιδιοτήτων πολυδιάστατων εννοιών. Η κλίμακα ανθρωπίνων αξιών του Schwartz έχει χρησιμοποιηθεί ευρέως από τους κοινωνικούς και διαπολιτισμικούς ψυχολόγους προκειμένου να μελετήσουν τις διαφορές ως προς τις προσωπικές αξίες μεταξύ των ατόμων και περιλαμβάνει δέκα ξεχωριστές ως προς κίνητρο αξίες, οι οποίες περικλείουν τις κύριες αξίες που αναγνωρίζονται διαπολιτισμικά: εξουσία, κατόρθωμα, ηδονισμός, διέγερση, αυτό-καθορισμός, καθολικότητα, καλοσύνη, παράδοση, συμμόρφωση και ασφάλεια. Η μέτρηση της ευζωίας παρέχει έναν σημαντικό δείκτη για την ευημερία των χωρών και παρουσιάζει ευκαιρίες για τη χάραξη πολιτικών. Γενικά οι ερευνητές αντιμετωπίζουν την ευζωία ως μία πολυδιάστατη έννοια. Με βάση τη μέτρηση της ΕΚΕ για την προσωπική και κοινωνική ευζωία για το 2012, που αποτελεί συνδυασμό θεωρητικών μοντέλων και στατιστικών αναλύσεων, προσδιορίζεται μία κατασκευή εννοίας σε έξι διαστάσεις-κλειδιά: αξιολογική ευζωία, συναισθηματική ευζωία, λειτουργικότητα, ζωτικότητα, κοινοτική ευζωία και υποστηρικτικές σχέσεις. Η θεωρητική δομή και των δύο κλιμάκων έχει τεκμηριωθεί διεξοδικά. Η ανάλυση βασίστηκε στα δεδομένα των γύρων 1 έως 7 (2002-2014) της ΕΚΕ για 16 Ευρωπαϊκές χώρες: Βέλγιο, Δανία, Φινλανδία, Γαλλία, Γερμανία, Ουγγαρία, Ιρλανδία, Ολλανδία, Νορβηγία, Πολωνία, Πορτογαλία, Σλοβενία, Ισπανία, Σουηδία, Ελβετία και Ηνωμένο Βασίλειο. Στην περίπτωση της κλίμακας ανθρωπίνων αξιών του Schwartz, η ΔΠΑ οδήγησε σε λύση δύο παραγόντων για 41 περιπτώσεις, σε λύση τριών παραγόντων για 51 περιπτώσεις και σε λύση τεσσάρων παραγόντων για 20 περιπτώσεις. Στην περίπτωση της κλίμακας της ευζωίας, η ΔΠΑ οδήγησε σε λύση τεσσάρων και πέντε παραγόντων για επτά χώρες, αντίστοιχα, και σε λύση έξι παραγόντων για δύο χώρες. Η εφαρμογή ΕΠΑ στο δεύτερο ημι-δείγμα υποστήριξε αυτά τα αποτελέσματα. Οι υπό-κλίμακες κατασκευάστηκαν με βάση την ανάλυση του συνολικού δείγματος και διερευνήθηκε η αξιοπιστία, η συγκλίνουσα και διακρίνουσα εγκυρότητα, καθώς και η εσωτερική τους συνοχή. Παρόλο που η ερμηνεία κάθε υπό-κλίμακας διαφέρει από τις προτεινόμενες θεωρητικές δομές και μεταξύ των χωρών, η ανάλυση συνεισφέρει στην αναπτυσσόμενη έρευνα πάνω στη μέτρηση της κλίμακας ανθρωπίνων αξιών του Schwartz και της ευζωίας παρέχοντας αξιόπιστες και έγκυρες υπό-κλίμακες για κάθε χώρα, οι οποίες μπορούν να χρησιμοποιηθούν στις αναλύσεις των κοινωνικών ερευνητών. Η μεθοδολογία που παρουσιάζεται μπορεί εύκολα να εφαρμοστεί σε άλλες κλίμακες τύπου Likert ή σε κλίμακες που χρησιμοποιούν τακτικές και ψευδο-διαστήματος μεταβλητές και οι οποίες προσδιορίζονται ως πολυδιάστατες με βάση τη θεωρία. Στην περίπτωση ανάπτυξης της θεωρίας, οι πρωταρχικές θεωρήσεις και η ακολουθία των αποφάσεων για την εφαρμογή ΔΠΑ μπορούν να εφαρμοστούν με τις κατάλληλες τροποποιήσεις