Υπολογιστικά υποστηριζόμενη εκπαιδευτική αξιολόγηση σε περιβάλλοντα ηλεκτρονικής μάθησης

Abstract

Digital technologies are transforming education. They are supporting the development and operation of new learning environments, where the processes of educational assessment are provided through computer systems. Computer Assisted Assessment is associated with a wide range of systems and processes. It includes systems and applications that automate traditional assessment methods, but it also includes innovative methods, where assessment acquires new forms and is integrated into the new digital learning environments. The thesis presents in detail the basic forms that Computer Assisted Assessment can take, focusing on its most innovative forms. The aim of the thesis is to contribute to the study of predictive Machine Learning models in digital learning environments and the abilities of their utilization in educational assessment. In particular, the thesis explores the potential of the models to utilize data from Learning Management Systems (LMS) and to predict student performance, not only with accuracy, but also in time, so that they can be used as formative assessment tools, which can identify factors affecting academic failure and guide targeted educational interventions. Data from the LMS Moodle was collected for 4 undergraduate and postgraduate courses. The predictive models were evaluated for accuracy and for timely prediction. Dataset features were identified, which affect the performance of the models to a different degree and which are related to student engagement. The main results of the research showed that, Machine Learning models, predict student’s performance with quite good accuracy and reliability. In addition, early prediction was possible, well before the completion of the courses. It emerged that some of the dataset features affect the prediction performance more than others. These features are common among relevant courses and their high degree of influence can be attributed to their relationship with indicators of student engagement. It also emerged that differences in the structure and design of courses, affect the importance of dataset features and ultimately affect the performance of the models.

Οι ψηφιακές τεχνολογίες μετασχηματίζουν το χώρο της εκπαίδευσης. Υποστηρίζουν την ανάπτυξη και τη λειτουργία νέων ψηφιακών περιβαλλόντων μάθησης, εντός των οποίων οι διαδικασίες της εκπαιδευτικής αξιολόγησης παρέχονται μέσω υπολογιστικών συστημάτων. Η Υπολογιστικά Υποστηριζόμενη Αξιολόγηση σχετίζεται με ένα ευρύ φάσμα συστημάτων και διαδικασιών. Περιλαμβάνει συστήματα και εφαρμογές που αυτοματοποιούν παραδοσιακές μεθόδους αξιολόγησης, αλλά και καινοτόμους μεθόδους, μέσω των οποίων η αξιολόγηση αποκτά νέες μορφές και ενσωματώνεται στα νέα ψηφιακά περιβάλλοντα μάθησης. Η διατριβή παρουσιάζει αναλυτικά τις βασικές μορφές που μπορεί να λάβει η Υπολογιστικά Υποστηριζόμενη Αξιολόγηση, αλλά επικεντρώνεται στις καινοτόμες μορφές της. Σκοπός της διατριβής είναι να συνεισφέρει στο πεδίο της μελέτης των προβλεπτικών μοντέλων Μηχανικής Μάθησης σε ψηφιακά περιβάλλοντα μάθησης και των δυνατοτήτων αξιοποίησής τους στην εκπαιδευτική αξιολόγηση. Ειδικότερα, η διατριβή διερευνά τις δυνατότητες των μοντέλων να αξιοποιήσουν δεδομένα χρήσης των Συστημάτων Διαχείρισης Μάθησης (ΣΔΜ) και να προβλέψουν τις επιδόσεις των φοιτητών, όχι μόνο με ακρίβεια, αλλά και εγκαίρως, ώστε να μπορούν να χρησιμοποιηθούν ως εργαλεία διαμορφωτικής αξιολόγησης, τα οποία αφενός εντοπίζουν ζητήματα που προοιωνίζονται αποτυχημένη φοίτηση και αφετέρου καθοδηγούν στοχευμένες διδακτικές παρεμβάσεις. Συλλέχθηκαν δεδομένα πρόσβασης στο ΣΔΜ Moodle για 4 μαθήματα προπτυχιακού και μεταπτυχιακού επιπέδου. Τα μοντέλα πρόβλεψης αξιολογήθηκαν, ως προς την ακρίβεια και ως προς τη χρονική στιγμή της πρόβλεψης. Διερευνήθηκε επίσης, ο διαφορετικός βαθμός επίδρασης συγκεκριμένων χαρακτηριστικών στην απόδοση των μοντέλων και οι συσχετίσεις των χαρακτηριστικών αυτών με διαστάσεις που αφορούν την ενεργή συμμετοχή των φοιτητών στην εκπαιδευτική διαδικασία. Τα κύρια αποτέλεσματα της έρευνας έδειξαν ότι, με την αξιοποίηση μοντέλων Μηχανικής Μάθησης στα μαθήματα που μελετήθηκαν, προβλέφθηκε, με αρκετά καλή ακρίβεια και αξιοπιστία, η τελική επίδοση των σπουδαστών. Επιπλέον, εφικτή ήταν η έγκαιρη πρόβλεψη, αρκετά πριν την ολοκλήρωση των μαθημάτων. Προέκυψε, ότι κάποια από τα χαρακτηριστικά στα σύνολα δεδομένων των μοντέλων, επηρεάζουν περισσότερο από τα υπόλοιπα την ικανότητα πρόβλεψης. Τα επιδραστικά χαρακτηριστικά είναι κοινά μεταξύ συναφών μαθημάτων και ο υψηλός βαθμός επίδρασης τους μπορεί να αποδοθεί στη σχέση που έχουν με δείκτες ενεργής συμμετοχής των φοιτητών στα μαθήματα. Προέκυψε επίσης, ότι οι διαφορές στη δομή και στην οργάνωση των μαθημάτων, ως αποτέλεσμα διαφορετικών σχεδιαστικών επιλογών, επηρεάζουν τη βαρύτητα των χαρακτηριστικών στα σύνολα δεδομένων και τελικά επηρεάζουν και την απόδοση των μοντέλων.