Methods and tools to support instructional quality in online discussions in massive open online courses

Abstract

The thesis deals with ways to improve and maintain the instructional design quality in Massive Open Online Courses (MOOCs). More concretely, our goal is to support the decision making of MOOC practitioners (e.g., instructional designers, instructors) at run-time, i.e., when the course is active, on instructional quality issues. The main gap that we address is that existing evaluation studies of instructional quality do not assess the supporting strategies adopted by the instructional staff (i.e., learner facilitators) to support learners in the forum. To address this gap we follow a three-phase research methodology. In the first phase we perform three case studies that extend the existing empirical research on the intervention characteristics and the problems of learner facilitators in courses of different subject matter. In the second phase, we perform an in-depth case study in which we provide empirical evidence about the main instructional approaches learner facilitators adopt in MOOC forums, and unravel the quality issues that are associated with them. Then, we proceed to the formulation of a data-driven methodology that aims to guide MOOC system-tool developers in designing tools that help instructors keep track of such instructional approaches, and support their decision-making at run-time. In the last phase, we use the data-driven methodology to design and develop a runtime tool that supports the decision making of instructors in MOOCs. Specifically, we provide a proof of concept regarding the feasibility and usefulness of the proposed methodology in designing new software applications. This contribution has been evaluated throughout the research process of three case studies performed in MOOC contexts, and a set of semi-structured interviews with experts.

Η διατριβή ασχολείται με τους τρόπους βελτίωσης και διατήρησης της ποιότητας του εκπαιδευτικού σχεδιασμού στα Μαζικά Ανοικτά Διαδικτυακά Μαθήματα (MOOCs). Πιο συγκεκριμένα, ο στόχος μας είναι να υποστηρίξουμε τη λήψη αποφάσεων από τους επαγγελματίες των MOOC (π.χ. σχεδιαστές διδασκαλίας, εκπαιδευτές) κατά την εκτέλεση, δηλαδή όταν το μάθημα είναι ενεργό, σχετικά με θέματα ποιότητας διδασκαλίας. Το κύριο κενό που καλύπτουμε είναι ότι οι υπάρχουσες μελέτες αξιολόγησης της διδακτικής ποιότητας δεν αξιολογούν τις υποστηρικτικές στρατηγικές που υιοθετούνται από το διδακτικό προσωπικό (δηλ. τους διευκολυντές των μαθητών) για την υποστήριξη των μαθητών στο φόρουμ. Για να αντιμετωπίσουμε αυτό το κενό ακολουθούμε μια ερευνητική μεθοδολογία τριών φάσεων. Στην πρώτη φάση πραγματοποιούμε τρεις μελέτες περιπτώσεων που επεκτείνουν την υπάρχουσα εμπειρική έρευνα σχετικά με τα χαρακτηριστικά παρέμβασης και τα προβλήματα των διευκολυντών μαθητών σε μαθήματα διαφορετικού γνωστικού αντικειμένου. Στη δεύτερη φάση, εκτελούμε μια εις βάθος μελέτη περίπτωσης στην οποία παρέχουμε εμπειρικά στοιχεία σχετικά με τις κύριες διδακτικές προσεγγίσεις που υιοθετούν οι διευκολυντές μαθητών σε φόρουμ MOOC και ξεδιπλώνουμε τα προβλήματα ποιότητας που συνδέονται με αυτές. Στη συνέχεια, προχωράμε στη διαμόρφωση μιας μεθοδολογίας βασισμένης στα δεδομένα, η οποία έχει ως στόχο να καθοδηγήσει τους προγραμματιστές συστημάτων-εργαλείων MOOC στο σχεδιασμό εργαλείων που βοηθούν τους εκπαιδευτές να παρακολουθούν τέτοιες διδακτικές προσεγγίσεις και να υποστηρίζουν τη λήψη αποφάσεων κατά την εκτέλεση. Στην τελευταία φάση, χρησιμοποιούμε την καθοδηγούμενη από δεδομένα μεθοδολογία για να σχεδιάσουμε και να αναπτύξουμε ένα εργαλείο εκτέλεσης που υποστηρίζει τη λήψη αποφάσεων των εκπαιδευτών σε MOOC. Συγκεκριμένα, παρέχουμε μια απόδειξη της έννοιας όσον αφορά τη σκοπιμότητα και τη χρησιμότητα της προτεινόμενης μεθοδολογίας στη σχεδίαση νέων εφαρμογών λογισμικού. Η συνεισφορά αυτή αξιολογήθηκε κατά τη διάρκεια της ερευνητικής διαδικασίας τριών μελετών περίπτωσης που πραγματοποιήθηκαν σε περιβάλλοντα MOOC και μιας σειράς ημιδομημένων συνεντεύξεων με εμπειρογνώμονες.