Παράγοντες που επηρεάζουν την πιστοποίηση γνώσεων και δεξιοτήτων πληροφορικής με χρήση αυτοματοποιημένων συστημάτων εξέτασης

Abstract

Certification of skills is the basis upon which modern society is organized in order to adapt to the highly changing market conditions and labor. Due to this context, the need for measures to estimate the diffusion of skills in large population groups is rised. Many measures are used in large scale assessment that are mainly based on paper-pencil. Over the time all these measures are strongly affected by the use of ICT tools for item analysis and for the test delivering as well.(Chalhoub–Deville & Deville, 1999; Ripley, 2007; Gardner,, Holmes,, & Leitch,, 2009; OECD, 2010). This Phd thesis presents the main features of a Computer Based Testing system used for the certification of teachers in primary and secondary education concerning the basic use of ICT tools. A detailed evaluation of the project has been taken place based on data concerning a long time (~ 10 years), large number of teachers (~ 100,000) with wide dispersion on cognitive objects (religious teachers, mathematicians, physicists, philogists etc.) and on geographic areas (urban and non-urban areas, insular Greece etc). The current research proposes a model for designing, organizing and maintaining an item bank in order to support the production of equivalent tests, a set of tools for estimating the properties of a Computer Based System system is presented, a number of statistical process algorithms is implemented and scripts for efficient statistical analysis of large amount of data is documented.

Η πιστοποίηση των ικανοτήτων που διαθέτουν οι πολίτες αποτελεί τη βάση πάνω στην οποία στηρίζεται η σύγχρονη κοινωνία για την προσαρμογή της στις έντονα μεταλλασσόμενες συνθήκες της αγοράς και της εργασίας. Στο πλαίσιο αυτό προκύπτει επιτακτικά η ανάγκη εφαρμογής μετρικών για την εκτίμηση της διάχυσης των ικανοτήτων σε μεγάλες ομάδες πληθυσμών. Πολλά εργαλεία διερεύνησης χρησιμοποιούνται σε μεγάλη κλίμακα και βασίζονται κυρίως στο χαρτί-μολύβι αλλά με την πάροδο του χρόνου όλο και ποιο έντονα επηρεάζονται από τη χρήση εργαλείων πληροφορικής τόσο για την ανάλυση όσο και για τη διάθεσή των διαγωνισμάτων (Chalhoub–Deville & Deville, 1999; Ripley, 2007; Gardner,, Holmes,, & Leitch,, 2009; OECD, 2010). Στο πλαίσιο της παρούσας διδακτορικής διατριβής παρουσιάζονται τα βασικά χαρακτηριστικά ενός αυτοματοποιημένου συστήματος εξέτασης που χρησιμοποιείται για την πιστοποίηση εκπαιδευτικών πρωτοβάθμιας και δευτεροβάθμιας εκπαίδευσης στη βασική χρήση εργαλείων πληροφορικής και αξιολογείται η εφαρμογή του συστήματος στον ελλαδικό χώρο για μεγάλο χρονικό διάστημα (~10 έτη), σε μεγάλο δείγμα εκπαιδευτικών (~100.000) που καλύπτει με πληρότητα το φάσμα ειδικοτήτων (δάσκαλοι, φιλόλογοι, μαθηματικοί, φυσικοί κ.α) της πρωτοβάθμιας και δευτεροβάθμιας εκπαίδευσης και τις γεωγραφικές περιοχές της Ελλάδος (αστικές και μη αστικές περιοχές, νησιωτική ελλάδα κλπ). Στο πλαίσιο της έρευνας προτείνεται ένα μοντέλο για τη σχεδίαση, οργάνωση και συντήρηση τράπεζας δοκιμασιών που υποστηρίζει την παραγωγή διαχρονικά ισοδύναμων ηδιαγωνισμάτων, παρουσιάζονται εργαλεία για την καταγραφή των επιμέρους ιδιοτήτων και την αξιολόγηση ενός συστήματος αυτοματοποιημένης εξέτασης, αξιοποιούνται ποσοτικές μέθοδοι ανάλυσης και τεκμηριώνεται κώδικας για την αποδοτική στατιστική ανάλυση μεγάλου πλήθους δεδομένων που αφορούν στις αποκρίσεις εξεταζόμενων σε διαδοχικά ηδιαγωνίσματα.