The effect of text and reader variables on reading comprehension: the case of the greek state certificate of english language proficiency exams (KPG): a new text difficulty index for automatic text classification

Abstract

The aim of the present research has been twofold: a) to delineate, based on a specific theory of language, a range of linguistic features that characterize the reading texts used at the B2 (Independent User) and C1 (Proficient User) level of the KPG language exams in English in order to better define text difficulty per level of competence, and b) to examine whether specific reader variables influence KPG test-takers perceptions of reading comprehension difficulty. In other words, an attempt has been made to find the relationship between these predictor variables and the readability level of English texts included in the reading test papers of the KPG examinations. The ultimate purpose of such research has been to provide a Text Classification Profile per level of competence and create a formula for automatically estimating text difficulty and assigning levels to texts, consistently and reliably, in accordance with the purposes of the exam and the KPG candidature special characteristics. The main outcomes of the research are a) the Text Classification Profile that includes the qualitative and quantitative description of linguistic characteristics pertinent in B2 and C1 reading texts and b) the L.A.S.T. Text Difficulty Index that makes possible the automatic classification of B2 and C1 English reading texts, based on four in-depth linguistic features, i.e. lexical density, syntactic structure similarity, tokens per word family and academic vocabulary. Given that the predictive accuracy of the formula has reached 95% on a new set of reading tests, it seems safe to argue that the practical usefulness of the proposed index could extend to EFL testers and materials writers, who are in constant need of texts calibrated to specific levels of language competence. Finally, the comparative analyses of 188,556 KPG test-takers' exam scores and 7,500 KPG questionnaires made possible firstly the identification of specific textual features that can affect test-takers' performance, and secondly the detection of variables which have an important impact on readers' perceptions of text difficulty.

Αντικείμενο της παρούσας έρευνας υπήρξε η εμπειρική διερεύνηση της επίδρασης ατομικών και κειμενικών χαρακτηριστικών στη διαδικασία κατανόησης γραπτού λόγου στο πλαίσιο των εξετάσεων Αγγλικής γλώσσας με ειδικότερη αναφορά στο Κρατικό Πιστοποιητικό Γλωσσομάθειας (ΚΠγ). Ερέθισμα για την εξέταση του συγκεκριμένου θέματος υπήρξε η αναγκαιότητα ενίσχυσης, μέσα από την ποιοτική και ποσοτική ανάλυση των ερευνητικών δεδομένων, των, σε μεγάλο βαθμό, μέχρι σήμερα υποκειμενικών κυρίως κριτηρίων επιλογής γραπτών κειμένων για χρήση στις εξετάσεις γλωσσομάθειας στην Αγγλική γλώσσα. Προηγούμενες έρευνες στην αξιολόγηση της διαδικασίας κατανόησης γραπτού λόγου έχουν δείξει ότι τόσο κειμενικά χαρακτηριστικά όπως το γλωσσικό περιβάλλον, η δομή, το είδος και το ύφος του κειμένου, όσο και η προηγούμενη γνώση του θέματος από μέρους των αναγνωστών ασκούν σημαντική επίδραση στη διαδικασία κατανόησης γραπτού λόγου, επίδραση που σε περιβάλλον εξετάσεων είναι δυνατόν να έχει αρνητικές συνέπειες στην αξιοπιστία και εγκυρότητα του συστήματος. Ο βαθμός αναγνωσιμότητας των γραπτών κειμένων που χρησιμοποιούνται σε διάφορα εξεταστικά συστήματα είναι, λοιπόν, απαραίτητο να προσδιορίζεται ποιοτικά και ποσοτικά με βάση το αντίστοιχο επίπεδο εξέτασης και τα ιδιαίτερα χαρακτηριστικά (π.χ. ηλικία, προηγούμενη γνώση, ενδιαφέροντα) των υποψηφίων. Στα πλαίσια της παρούσας έρευνας εξετάστηκε ο βαθμός επίδρασης κειμενικών και ατομικών παραμέτρων στην αναγνωσιμότητα αγγλικών γραπτών κειμένων που είναι δυνατόν να χρησιμοποιηθούν στα επίπεδα Β2 και Γ1 του Κρατικού Πιστοποιητικού Γλωσσομάθειας. Στα αποτελέσματα της έρευνας περιλαμβάνεται α) ο προσδιορισμός του βαθμού δυσκολίας κειμένων κατανόησης γραπτού λόγου όσον αφορά στους Έλληνες μαθητές που έχουν διδαχθεί την Αγγλική ως ξένη γλώσσα και συμμετέχουν στις εξετάσεις επιπέδου Β2/ Γ1 του ΚΠγ και β) η διαμόρφωση ενός αυτοματοποιημένου μοντέλου υπολογισμού του βαθμού λεξικογραμματικής δυσκολίας γραπτού κειμένου στην Αγγλική γλώσσα με βάση συγκεκριμενόυς υφομετρικούς δείκτες. Τα αποτελέσματα της παρούσας έρευνας προσφέρουν πολύτιμη γνώση σε ερευνητές, συντάκτες θεμάτων εξετάσεων, εκπαιδευτικούς και μαθητές όσον αφορά στην επίδραση κειμενικών και ατομικών παραμέτρων στην κατανόηση γραπτού λόγου. Πιο συγκεκριμένα, η αξιοποίηση των ερευνητικών στοιχείων δίνει τη δυνατότητα στους συντάκτες των θεμάτων να επιλέγουν κείμενα κατανόησης γραπτού λόγου με ποσοτικά και ποιοτικά κριτήρια, ενώ συγχρόνως είναι δυνατή η δημιουργία μιας βάσης κειμένων ταξινομημένων ως προς το επίπεδο αναγνωσιμότητας και τον προβλεπόμενο βαθμό δυσκολίας της κατανόησης. Επιπλέον, τόσο οι καθηγητές ξένων γλωσσών όσο και οι εκδοτικοί οίκοι που ασχολούνται με τη συγγραφή βιβλίων για τη διδασκαλία ξένων γλωσσών θα μπορούσαν να αποκτήσουν πολύτιμη γνώση ως προς τις παραμέτρους που επηρεάζουν την κατανόηση γραπτών κειμένων και καθορίζουν την καταλληλότητά τους για την εκπαίδευση ή αξιολόγηση της γλωσσικής κατάρτισης των μαθητών σε συγκεκριμένα επίπεδα.