Exploring listening comprehension difficulty in language proficiency testing: the case of the greek state certificate examination

Abstract

This research is concerned with the assessment of listening comprehension, a rather neglected area in the field of foreign language testing. In particular, it addresses the issue of listening comprehension test difficulty and seeks to provide empirical evidence in terms of the specific factors i.e., item-related, text-related, linguistic and non-linguistic, contributing to task and text complexity. As an outcome, a Task Difficulty Typology is proposed involving detailed descriptors of item and text difficulty. The study is conducted in the context of the Greek national language proficiency examination suite, a multilingual exam suite, which is known by the Greek acronym KPG (ΚΠΓ). The data (i.e., test items and audio texts) investigated for the present study is retrieved from the listening comprehension test papers of the B2 level English exam. In particular two main item types are examined, namely a) choice test items (i.e., multiple choice and true/false/not stated) and b) completion test items (i.e., fill-in or short responses). Two general directions of research have been followed: one investigating the test method effect on item response difficulty and the other investigating task and text complexity from the listener’s perspective. As regards the former, by drawing on post-administration test data showing item difficulty, the study offers a systematic description of item-related and item-by-text related variables associated with ‘problematic’ listening test items demonstrating high levels of difficulty. In relation to the second direction of research, i.e., the investigation of the listener’s perspective, quantitative as well as qualitative data on task and text difficulty is considered as elicited from actual test takers and learners of English. More specifically, KPG candidates’ perceptions of listening comprehension text and task difficulty have been investigated through the use of (post-administration) feedback questionnaires especially designed for the B2 level English exams. The findings of the questionnaire data revealed the combined effect that specific text linguistic or paralinguistic features (e.g., information density, lexical difficulty, rate of speech,) and topic familiarity or interest can have on perceived test difficulty as well as their possible correlations with actual test scores.The qualitative data of the study has been collected through implementation of the verbal report method, in the form of semi-structured interviews and self-perception open ended questionnaires. To this end, two different groups of learners have been used, namely a controlled group of undergraduate students of the Faculty of English Language and Literature, University of Athens, and a random group of actual B2 learners of English. Learners’ verbal reports provided explanations in terms of the difficulties encountered. In this sense, they gave useful insights into the cognitive and processing difficulties entailed as a result of specific item variables and text-related factors having a joint effect on understanding. In the end, it was through triangulation, namely by associating the findings drawn from analysis of test data with the listener’s perspective, that the Task Difficulty Typology was developed.The findings of the study reflect the complex interaction of task design factors (i.e., item and text difficulty variables), cognitive attributes and processing abilities in listening comprehension test difficulty. In doing so, they reflect the complexity of listening comprehension test difficulty. By providing detailed descriptors of item-related and text-related difficulty factors, the Task Difficulty Typology could serve as an inventory for item writers and test developers to produce future listening comprehension tests by taking into consideration a range of variables that are associated with task or text difficulty, ensuring in this way overall test validity and reliability. Consequently, it will prove of practical use to language proficiency examination suites in which a listening comprehension test paper is involved. Besides language proficiency testing, the findings of this research may also benefit FL pedagogy serving as a source of information for language teachers who make a great effort to enhance their students’ listening comprehension abilities but are not fully aware of the factors that influence their performance. In particular, the Typology could serve as a tool for test strategy instruction in the EFL classroom as a means of overcoming item- or text-related difficulties.

Η παρούσα μελέτη διερευνά τους παράγοντες, γλωσσικούς και μη, που συνδέονται με τη δυσκολία δοκιμασιών ή συγκεκριμένων ερωτημάτων κατανόησης προφορικού λόγου αλλά και με τα ηχητικά κείμενα που τα συνοδεύουν. Απώτερος σκοπός της έρευνας είναι η ανάπτυξη μιας Τυπολογίας που θα περιγράφει με ακρίβεια τον τρόπο με τον οποίο οι εν λόγω παράγοντες μπορούν να επηρεάσουν τη δυσκολία των ερωτημάτων ή των ηχητικών κειμένων στην εξέταση κατανόησης προφορικού λόγου.Η έρευνα έχει διεξαχθεί στο πλαίσιο του ελληνικού εθνικού συστήματος Αξιολόγησης και Πιστοποίησης Γλωσσομάθειας, γνωστό ως Κρατικό Πιστοποιητικό Γλωσσομάθειας (ΚΠΓ). Συγκεκριμένα, όλα τα ερευνητικά δεδομένα που χρησιμοποιούνται για τις ανάγκες αυτής της έρευνας προέρχονται από την ενότητα της κατανόησης προφορικού λόγου της αγγλικής εξέτασης επιπέδου Β2. Η συγκεκριμένη εξέταση περιλαμβάνει δυο τύπους ερωτημάτων (οι οποίοι και οι δυο αναλύονται): α) ερωτήματα επιλογής (τύπου πολλαπλής επιλογής Α, Β, C ή τύπου Σωστό/Λάθος/Δεν αναφέρεται μέσα στο κείμενο) και β) ερωτήματα συμπλήρωσης. Ακολουθούνται δύο γενικότερες κατευθύνσεις διερεύνησης: η μία διερευνά το βαθμό κατά τον οποίο συγκεκριμένα χαρακτηριστικά διαφόρων ερωτημάτων επηρεάζουν τη δυσκολία των δοκιμασιών, ενώ η δεύτερη καταδεικνύει την πλευρά του ξενόγλωσσου ακροατή και παρουσιάζει τις απόψεις του ως προς τη δυσκολία των ερωτημάτων και των ηχητικών. Ως προς το πρώτο σκέλος, η μελέτη αντλεί δεδομένα από στατιστικές αναλύσεις ερωτημάτων κατανόησης προφορικού λόγου (item analysis data) του ΚΠΓ διαφορετικών εξεταστικών περιόδων με σκοπό να διερευνήσει τα χαρακτηριστικά των ‘προβληματικών’ ως προς το βαθμό δυσκολίας ερωτημάτων. Σκοπός των συγκεκριμένων αναλύσεων είναι να διερευνηθούν οι παράγοντες (π.χ., λεξιλογικοί, γραμματικοί, σημασιολογικοί, κτλ.) που επηρεάζουν την δυσκολία των ερωτημάτων κατανόησης προφορικού λόγου.Ως προς την μελέτη της πλευράς του ακροατή, έχουν χρησιμοποιηθεί ποσοτικά αλλά και ποιοτικά δεδομένα όπως προέκυψαν από πραγματικούς υποψήφιους Β2 επιπέδου του ΚΠΓ και από χρήστες της αγγλικής ως ξένης γλώσσας. Πιο συγκεκριμένα, οι απόψεις των υποψηφίων του ΚΠΓ ως προς τη δυσκολία των ηχητικών κειμένων και δοκιμασιών της εξέτασης κατανόησης προφορικού λόγου διερευνήθηκαν με χρήση ερωτηματολογίων. Τα αποτελέσματα από τη στατιστική ανάλυση των δεδομένων που προέκυψαν από τα ερωτηματολόγια αποκάλυψαν ότι συγκεκριμένοι γλωσσικοί και παραγλωσσικοί παράγοντες που σχετίζονται με τα ηχητικά κείμενα (π.χ. δυσκολία λεξιλογίου, ρυθμός ομιλίας, πυκνότητα λόγου, κτλ.) φαίνεται να επιδρούν συνδυαστικά στο τι οι εξεταζόμενοι θεωρούν δύσκολο. Η πρότερη γνώση ή το ενδιαφέρον του ακροατή για συγκεκριμένες θεματικές φαίνεται επίσης να διαδραματίζουν ρόλο στο κατά πόσο ορισμένα θέματα αντιμετωπίζονται ως δύσκολα ή εύκολα από τους εξεταζομένους.Από την άλλη, τα ποιοτικά δεδομένα αντλήθηκαν μέσα από συνεντεύξεις και ερωτηματολόγια ανοιχτού τύπου. Η ανάλυση των ποιοτικών δεδομένων ανέδειξε τον ρόλο συγκεκριμένων νοητικών δυσκολιών ως αποτέλεσμα παραγόντων που συνδέονται με τα χαρακτηριστικά των ερωτημάτων ή των ηχητικών κειμένων. Η τελική Τυπολογία Δυσκολιών για τις δοκιμασίες κατανόησης προφορικού λόγου (Task Difficulty Typology), που αποτελεί απώτερο στόχο της παρούσας μελέτης, προέκυψε μέσα από τον συγκερασμό των αποτελεσμάτων των ανωτέρω μεθόδων διερεύνησης. Τα αποτελέσματα της παρούσας μελέτης αντικατοπτρίζουν την πολυπλοκότητα του αντικειμένου διερεύνησης, δηλαδή των παραγόντων δυσκολίας που επηρεάζουν την επίδοση των υποψηφίων στην εξέταση κατανόησης προφορικού λόγου. Έτσι, συγκεκριμένα χαρακτηριστικά των ερωτημάτων και των ηχητικών κειμένων φαίνεται να αλληλεπιδρούν με νοητικούς παράγοντες και διεργασίες συμβάλλοντας στην δυσκολία των δοκιμασιών της εξέτασης. Τα αποτελέσματα της έρευνας χρήζουν προσοχής τόσο από το χώρο της αξιολόγησης της γνώσης ξένων γλωσσών όσο και από το χώρο της διδασκαλίας. Συγκεκριμένα, η προτεινόμενη Τυπολογία Δυσκολιών των ερωτημάτων και των ηχητικών κειμένων, αποτελεί ένα αποθετήριο περιγραφητών δυσκολίας που θα μπορούσε να χρησιμοποιηθεί από τους συγγραφείς ερωτημάτων κατανόησης προφορικού λόγου ως μέσω ελέγχου της δυσκολίας των δοκιμασιών που παράγουν. Συνεπώς, η Τυπολογία θα μπορούσε να βρει πρακτική εφαρμογή σε διάφορα συστήματα αξιολόγησης και πιστοποίησης γλωσσομάθειας στα οποία περιλαμβάνεται εξέταση κατανόησης προφορικού λόγου.Τέλος, τα αποτελέσματα της εν λόγω έρευνας θα μπορούσαν να αποδειχθούν χρήσιμα στο χώρο της ξενόγλωσσης διδασκαλίας βοηθώντας τους εκπαιδευτικούς να κατανοήσουν τις δυσκολίες των μαθητών τους κατά την κατανόηση προφορικού λόγου και να συμβάλουν στην αντιμετώπιση των δυσκολιών αυτών μέσα από τη διδασκαλία κατάλληλων στρατηγικών αντιμετώπισης θεμάτων εξέτασης (test taking strategies).