The impact of oral examiners’ conduct on candidates’ performance: the case of the KPG exam in english

Abstract

The present research aims at describing the role examiners play in speaking tests by focusing on the ways in which they get involved in the candidates’ oral performance and examining the potential effects such involvement may have on the assessment of this performance. Since the assessment of oral proficiency has been characterised as a real challenge in the field of foreign language testing and assessment; and since the examiners have been recognised as one of the many variables which affect candidate performance and the assessment of it; investigation into the way examiners enact their role as interlocutors is inextricably linked with the demand for rigorous examiner training and monitoring of their practices, this aiming at increasing fairness in speaking test procedures. Drawing data from the speaking test of a relatively new foreign language examination battery, the KPG exams in English, at levels B2 (Independent User) and C1 (Proficient User), the present study has utilised three different types of methodology to attain the goals it set. Observation of actual examinations has yielded a list of types of examiner involvement and the frequency of their occurrence. It has also shed light into some types of candidate action or non-action causing such involvement as well as effects of different types of involvement on the candidate performance. A combined method of Discourse and Conversation Analysis of transcribed simulated speaking tests was then used to thoroughly study examples of examiner involvement, identify their causes and evaluate their effect on the candidate linguistic output; while systematicity of co-occurrence of specific types of causes-involvement-effects was also sought and recorded. Finally, written protocols by raters who assessed the simulated speaking tests were obtained with a view to revealing ways in which examiner involvement may influence the rating procedure. Although it has remained unclear how raters internalised examiner involvement in their assessment, they did appear to observe it and comment on it quite frequently. Finally, a model was derived depicting how examiners may be embedded in the candidates’ performance and potentially in the rating of this performance.Since the demand for coherence and transparency in language certification have been repeatedly accentuated and especially emphasised with the introduction of the CEFR, the present research provides valuable findings about the role of the examiner in the speaking test procedure and methodological ideas, which may and should be exploited in the training of oral examiners and the improvement of the testing procedure of the KPG exams as well as the monitoring and development of various oral tests, all of which pursue increased validity in examiner performance and inter- and intra-examiner reliability.

Η παρούσα έρευνα στοχεύει στην περιγραφή του ρόλου που διαδραματίζουν οι εξεταστές στις εξετάσεις προφορικού λόγου, εστιάζοντας στους τρόπους με τους οποίους εμπλέκονται στην προφορική απόδοση των υποψηφίων και εξετάζοντας τις πιθανές επιπτώσεις που μπορεί να έχει αυτή η συμμετοχή στην αξιολόγηση αυτής της απόδοσης. Δεδομένου ότι η αξιολόγηση της προφορικής ικανότητας έχει χαρακτηριστεί ως πραγματική πρόκληση στον τομέα των εξετάσεων και της αξιολόγησης ξένων γλωσσών, και καθώς οι εξεταστές έχουν αναγνωριστεί ως μία από τις πολλές μεταβλητές που επηρεάζουν την απόδοση των υποψηφίων και την αξιολόγησή της, η έρευνα σχετικά με τον τρόπο με τον οποίο οι εξεταστές εφαρμόζουν το ρόλο τους ως συνομιλητές συνδέεται άρρηκτα με το αίτημα για αυστηρή κατάρτιση των εξεταστών και παρακολούθηση των πρακτικών τους, με στόχο την αύξηση της δικαιοσύνης στις διαδικασίες εξέτασης ομιλίας. Αντλώντας δεδομένα από το τεστ ομιλίας ενός σχετικά νέου συστήματος εξέτασης ξένων γλωσσών, των εξετάσεων ΚΠΓ στα Αγγλικά, στα επίπεδα B2 (Ανεξάρτητος Χρήστης) και C1 (Έμπειρος Χρήστης), η παρούσα μελέτη έχει χρησιμοποιήσει τρεις διαφορετικούς τύπους μεθοδολογίας για την επίτευξη των στόχων που έχει θέσει. Η παρατήρηση των πραγματικών εξετάσεων απέδωσε έναν κατάλογο τύπων συμμετοχής των εξεταστών και τη συχνότητα εμφάνισής τους. Έχει επίσης ρίξει φως σε ορισμένους τύπους υποψηφίων ενεργειών ή μη-ενεργειών που προκαλούν τέτοια εμπλοκή καθώς και επιπτώσεις διαφορετικών τύπων εμπλοκής στην απόδοση των υποψηφίων. Στη συνέχεια χρησιμοποιήθηκε μια συνδυασμένη μέθοδος ανάλυσης συνομιλίας και συνομιλίας μεταγραφόμενων προσομοιωμένων τεστ ομιλίας για να μελετηθούν διεξοδικά παραδείγματα εμπλοκής των εξεταστών, να εντοπιστούν οι αιτίες τους και να αξιολογηθεί η επίδρασή τους στην υποψήφια γλωσσική παραγωγή. ενώ ζητήθηκε και καταγράφηκε επίσης η συστηματικότητα της συνύπαρξης συγκεκριμένων τύπων αιτιών-εμπλοκής-επιδράσεων. Τέλος, ελήφθησαν γραπτά πρωτόκολλα από βαθμολογητές που αξιολόγησαν τις προσομοιωμένες δοκιμασίες ομιλίας με σκοπό να αποκαλύψουν τρόπους με τους οποίους η συμμετοχή των εξεταστών μπορεί να επηρεάσει τη διαδικασία αξιολόγησης. Παρόλο που παρέμεινε ασαφές το πώς οι αξιολογητές εσωτερίκευσαν τη συμμετοχή των εξεταστών στην αξιολόγησή τους, φαινόταν να το παρατηρούν και να το σχολιάζουν αρκετά συχνά. Τέλος, δημιουργήθηκε ένα μοντέλο που απεικονίζει πώς οι εξεταστές μπορούν να ενσωματωθούν στην απόδοση των υποψηφίων και ενδεχομένως στη βαθμολογία αυτής της απόδοσης. Δεδομένου ότι η απαίτηση για συνοχή και διαφάνεια στην πιστοποίηση γλωσσών έχει τονιστεί επανειλημμένα και τονίζεται ιδιαίτερα με την εισαγωγή του ΚΠΑΓ, η παρούσα έρευνα παρέχει πολύτιμα ευρήματα σχετικά με το ρόλο του εξεταστή στη διαδικασία εξέτασης ομιλίας και μεθοδολογικές ιδέες, οι οποίες μπορεί και πρέπει να αξιοποιούνται στην εκπαίδευση των προφορικών εξεταστών και στη βελτίωση της διαδικασίας δοκιμών των εξετάσεων ΚΠΓ, καθώς και στην παρακολούθηση και ανάπτυξη διαφόρων προφορικών εξετάσεων, οι οποίες επιδιώκουν αυξημένη εγκυρότητα στις επιδόσεις των εξεταστών και την αξιοπιστία τόσο των ιδίων όσο και μεταξύ των εξεταστών.