User modelling and adaptivity in computer supported collaborative learning environments for object oriented software development methodologies

Abstract

The aim of this thesis is to introduce a new approach to intelligent and affective recommendations offered by a Computer Supported Collaborative Learning (CSCL) system, called AUTO-COLLEAGUE (AUTOmated COLLaborativE leArninG Uml Environment). It is an environment for training users in UML, but it can also be used for other popular domains, such as programming languages. It may be used both in educational institutes and software houses. AUTO-COLLEAGUE traces every action and performance indication in order to provide useful recommendations to the trainees, as well as the trainer who is often neglected in similar environments. The contributions of the system presented in this thesis concern CSCL systems and group formation tools. In specific, the novel approaches implemented in AUTOCOLLEAGUE are: • The personality-related characteristics included in the student models and, especially, the way they are automatically traced and evaluated, • The effectivity implemented to recommend optimum groups of trainees and • The use of a leadership theory, and specifically the Hersey and Blanchard Situational Leadership Theory, for adapting intelligent recommendations in a learning environment. The recommendations to the trainees concern (a) the next UML topics they should study, (b) the appropriate colleagues with whom they should collaborate and (c) supportive/encouraging messages that would increase their performance. The recommendations to the trainer include (a) historical/statistical reports and charts of showing the progress of the trainees and (b) a group formation tool that proposes optimum organization of the trainees into groups. The recommender system is built using both the content-based and the collaborative filtering methods. The intelligence of the recommendations is based on the individual student models of the trainees. The system uses a hybrid student modelling technique, combining perturbation (buggy) and stereotype-based student models to describe the trainees. The student model contains both domain dependent and domain independent data. The domain dependent data represent the level of expertise referring to the domain knowledge description. It is structured in topics, each of which bears a degree of knowledge. The domain independent data refer to (a) the overall emotional state (positive/negative) of the trainee and (b) a set of personality characteristics that affect the trainee’s learning and collaboration processes. The overall emotional state of the trainee is inferred using the OCC theory. OCC is a cognitive theory of emotions that suggests a computational model for emotion recognition and modelling. It is the most popular theory of emotions adapted in affective systems. The emotional state of trainee is used as a criterion for the group formation recommendations and the supportive messages offered to the trainee. The personality characteristics are structured in eight stereotypes: self-confident, diligent, participative, willing to help, sceptical, hurried, unconcentrated and efficient. In order for the system to update the student model, it monitors specific attributes that are relevant to the included stereotypes and concern the trainee’s use of the environment and performance on the domain knowledge. The way the system manipulates the values of these attributes to make inferences is instructed by the results of an empirical study conducted amongst experienced trainers. The contributions of this thesis are associated mainly to the kinds of personality characteristics evaluated and the criteria of the group formation algorithm. Most of the CSCL systems are based on the abilities and knowledge of the trainees to provide intelligent and adaptive advice. Others use learning styles and team roles, but the vast majority does not automatically traces their values observing the student. Instead, they use scientific instruments, such as questionnaires. None of these systems use personality characteristics similar to ours. In addition, considering experimental studies on group formation tools, limited work is done despite the recognized importance of effective group formation in collaborative learning tasks. Indeed, there are interesting approaches of group formation, but most of them attempt to create heterogeneous or homogeneous groups considering the knowledge, learning styles or team roles. On the contrary, the group formation algorithm proposed in this thesis is based on desired and undesired combinations of personality attributes and the emotional influence between the trainees during the collaborative learning activities. Furthermore, the group formation tool is implemented using the Simulated Annealing algorithm, which has never been used in similar processes and environments. The Simulated Annealing algorithm is a genetic algorithm that serves as a general optimization technique for solving combinatorial optimization problems. It uses a control parameter (called temperature) to avoid getting trapped in poor local optima. Another contribution of our study lies in the use of the Hersey and Blanchard Situational Leadership Theory for adapting the environment and recommendations to the trainee and for proposing to the trainee the most appropriate leadership style to follow per trainee and per learning task. We were inspired by educational studies that emphasized on the importance of the teacher to take a leadership role in classroom. The Hersey and Blanchard Leadership Theory is based on the principle that successful leaders should be flexible enough to adapt their leadership style according to the maturity of the followers for each assigned task. No other learning system has yet used a leadership theory. The effectiveness of the provided recommendations has been demonstrated by the positive results of two evaluation experiments conducted in real time with real trainees. An extended part of this thesis has been dedicated to describing the importance of intelligent Computer Supported Collaborative Learning systems and analyzing the origins of collaborative learning in the psychology and educational literature.

Βασικός σκοπός της παρούσας διατριβής είναι η ανάπτυξη και παρουσίαση μιας καινοτόμου προσέγγισης σχετικά με την παροχή ευφυούς βοήθειας σε ένα λογισμικό συνεργατικής μάθησης (Computer Supported Collaborative Learning - CSCL system), που ονομάζεται AUTO-COLLEAGUE (AUTOmated COLLaborativE leArninG Uml Environment). Πρόκειται για ένα περιβάλλον εκπαίδευσης χρηστών στη UML (Unified Modelling Language), αλλά είναι έτσι σχεδιασμένο, ώστε να μπορεί να χρησιμοποιηθεί και για άλλα γνωστικά αντικείμενα, όπως γλώσσες προγραμματισμού. Είναι κατάλληλο για χρήση τόσο σε εκπαιδευτικά ιδρύματα, όσο και σε εταιρείες παραγωγής λογισμικού. To AUTO-COLLEAGUE παρακολουθεί κάθε ενέργεια καθώς και κάθε πιθανή ένδειξη επίδοσης των εκπαιδευομένων προκειμένου να παράγει και, ακολούθως, να προσφέρει χρήσιμες συμβουλές στους εκπαιδευόμενους, αλλά και στον εκπαιδευτή, ο ρόλος του οποίου συχνά παραμελείται από παρόμοια περιβάλλοντα. Η συνεισφορά του συστήματος που παρουσιάζεται σε αυτή τη διατριβή αφορά τα επιστημονικά πεδία ανάπτυξης λογισμικού συνεργατικής μάθησης (CSCL systems) και των εργαλείων αυτόματου σχηματισμού ομάδων συνεργασίας (group formation tools). Συγκεκριμένα, οι καινοτόμες προσεγγίσεις που υλοποιήθηκαν στο AUTOCOLLEAGUE είναι: • Η χρήση χαρακτηριστικών της προσωπικότητας των εκπαιδευομένων και ειδικά ο αυτόματος τρόπος που αυτά εκτιμώνται από το σύστημα, • Η συνεκτίμηση της συναισθηματικής αλληλεπίδρασης μεταξύ των εκπαιδευομένων στην αυτοματοποιημένη διαδικασία σχηματισμού προτεινόμενων ομάδων συνεργασίας και • Η χρήση της θεωρίας συγκυριακής ηγεσίας των Hersey και Blanchard στη διαδικασία εξατομικευμένης προσαρμογής των παρεχόμενων συμβουλών προς τους εκπαιδευόμενους. Η παρεχόμενη βοήθεια στους εκπαιδευόμενους συνίσταται (α) στα προτεινόμενα θέματα της UML προς μελέτη, (β) στους πιο κατάλληλους για συνεργασία συναδέλφους και (γ) σε ενθαρρυντικά μηνύματα που θα μπορούσαν να αυξήσουν την αποδοτικότητά τους. Η παρεχόμενη βοήθεια στον εκπαιδευτή αφορά (α) στατιστικές αναφορές και διαγράμματα σχετικά με την πρόοδο των εκπαιδευομένων και (β) ένα εργαλείο αυτόματου σχηματισμού ομάδων που προτείνει τη βέλτιστη οργάνωση των εκπαιδευομένων σε ομάδες συνεργασίας. Όλοι οι προαναφερόμενοι τύποι βοήθειας παράγονται από ένα ενσωματωμένο σύστημα συστάσεων (recommender system) που βασίζεται στις προσεγγίσεις του φιλτραρίσματος με βάση το περιεχόμενο (content-based filtering) και του συνεργατικού φιλτραρίσματος (collaborative filtering). Για την παραγωγή ευφυών συστάσεων/συμβουλών, το σύστημα δημιουργεί και ενημερώνει εξατομικευμένα μοντέλα μαθητών (student models) για κάθε εκπαιδευόμενο. Τα μοντέλα αυτά περιγράφουν τον εκπαιδευόμενο και είναι υλοποιημένα βάσει μιας υβριδικής προσέγγισης μοντελοποίησης μαθητών που συνδυάζει το μοντέλο διατάραξης γνώσης (perturbation/buggy models) και τη μέθοδο των στερεοτύπων (stereotype-based models). Το μοντέλο μαθητή περιέχει δεδομένα σχετιζόμενα, αλλά και μη σχετιζόμενα με το γνωστικό αντικείμενο. Τα σχετιζόμενα με το γνωστικό αντικείμενο δεδομένα αφορούν το επίπεδο γνώσης και εμπειρίας σχετικά με αυτό. Το γνωστικό αντικείμενο, δηλαδή όλη η γνώση που επιθυμούμε να διδαχθεί, είναι καταγεγραμμένη στη βάση δεδομένων του συστήματος δομημένη σε έννοιες, κάθε μία από τις οποίες φέρει ένα βαθμό γνώσης. Τα μη σχετιζόμενα με το γνωστικό αντικείμενο δεδομένα αφορούν (α) τη γενική συναισθηματική κατάσταση του εκπαιδευομένου (θετική ή αρνητική) και (β) ένα σύνολο συγκεκριμένων χαρακτηριστικών περιγραφής της προσωπικότητας που επηρεάζουν τη διαδικασία μάθησης και συνεργασίας των εκπαιδευομένων. Η γενική συναισθηματική κατάσταση των εκπαιδευομένων εκτιμάται αυτόματα από το σύστημα χρησιμοποιώντας τη γνωστική θεωρία των συναισθημάτων OCC. Αυτί) η θεωρία, που είναι η tuo δημοφιλής στην υλοποίηση συστημάτων συναισθηματικής νοημοσύνης, προτείνει ένα υπολογιστικό μοντέλο αναγνώρισης και μοντελοποίησης των συναισθημάτων. Αυτή, λοιπόν, η γενική συναισθηματική κατάσταση των εκπαιδευομένων χρησιμοποιείται ως κριτήριο στο εργαλείο αυτόματου σχηματισμού ομάδων συνεργασίας, καθώς και στην εμφάνιση των ενθαρρυντικών μηνυμάτων προς τους εκπαιδευόμενους. Τα χαρακτηριστικά που περιγράφουν την προσωπικότητα των εκπαιδευομένων είναι δομημένα σε οκτώ στερεότυπα: ο έχων αυτοπεποίθηση, ο εργατικός, ο συμμετοχικός, ο πρόθυμος να βοηθήσει, ο σκεπτικός, ο βιαστικός/επιπόλαιος, ο έχων έλλειψη αυτοσυγκέντρωσης και ο ικανός. Το σύστημα κατατάσσει τους εκπαιδευόμενους σε αυτά τα στερεότυπα αξιολογώντας συγκεκριμένα χαρακτηριστικά, που είναι συναφή με τον τρόπο χρήσης του περιβάλλοντος, αλλά και με την πρόοδό τους στο γνωστικό αντικείμενο. Ο τρόπος που το σύστημα συσχετίζει τις τιμές αυτών των χαρακτηριστικών με κάθε στερεότυπο είναι προϊόν εμπειρικής μελέτης που διεξήχθη μεταξύ έμπειρων εκπαιδευτών. Όπως προαναφέρθηκε, μία από τις σημαντικότερες συνεισφορές της έρευνας που παρουσιάζεται σε αυτήν τη διατριβή σχετίζεται με τα χαρακτηριστικά της προσωπικότητας των εκπαιδευόμενων που εκτιμώνται από το σύστημα, καθώς και με τα κριτήρια που χρησιμοποιούνται στο εργαλείο αυτόματου σχηματισμού ομάδων. Τα περισσότερα από τα υπάρχοντα συστήματα συνεργατικής μάθησης βασίζονται στις γνώσεις και στις ικανότητες των εκπαιδευομένων για την παραγωγή ευφυών και προσαρμοστικών συμβουλών. Κάποια άλλα χρησιμοποιούν τους εξατομικευμένους τύπους μάθησης (learning styles) ή/και τους εργασιακούς χαρακτήρες (team roles) των εκπαιδευομένων. Η συντριπτική τους πλειοψηφία δεν υπολογίζει αυτοματοποιημένα τις τιμές αυτών για κάθε εκπαιδευόμενο, μα χρησιμοποιεί επιστημονικά εργαλεία απευθείας εισαγωγής δεδομένων από το χρήστη, όπως ερωτηματολόγια. Αντίθετα, το σύστημα που υλοποιήθηκε στα πλαίσια αυτής της έρευνας εκτιμά τα χαρακτηριστικά της προσωπικότητας των εκπαιδευομένων αυτοματοποιημένα. Παρά τη σπουδαιότητα της αποδοτικής οργάνωσης των ομάδων που εργάζονται συνεργατικά σε διαδικασίες εκπαίδευσης, δεν υπάρχουν αρκετά εργαλεία αυτόματου σχηματισμού ομάδων. Πράγματι, υπάρχουν στη διεθνή βιβλιογραφία κάποιες πολύ ενδιαφέρουσες μέθοδοι σχηματισμού ομάδων, αλλά στις περισσότερες από αυτές προτείνονται ομάδες σχηματισμένες με όσο το δυνατόν μεγαλύτερη ετερογένεια ή ομογένεια σχετικά με τις γνώσεις, τους τύπος μάθησης ή τους εργασιακούς χαρακτήρες των εκπαιδευομένων. Αντίθετα, το εργαλείο σχηματισμού ομάδων που παρουσιάζεται στην παρούσα έρευνα είναι βασισμένο στους επιθυμητούς και μη επιθυμητούς (από τον εκπαιδευτή) συνδυασμούς των χαρακτηριστικών της προσωπικότητας των εκπαιδευομένων, καθώς και στη συναισθηματική αλληλεπίδραση μεταξύ αυτών κατά τη διάρκεια της συνεργασίας τους. Μία άλλη καινοτομία του εν λόγω εργαλείου είναι ότι το εργαλείο σχηματισμού ομάδων έχει υλοποιηθεί με τον αλγόριθμο προσομοιωμένης ανόπτησης (Simulated Annealing algorithm), ο οποίος δεν έχει χρησιμοποιηθεί ούτε σε επίλυση παρόμοιων προβλημάτων ούτε σε παρόμοια εκπαιδευτικά περιβάλλοντα. Πρόκειται για ένα γενετικό αλγόριθμο που χρησιμοποιείται για την επίλυση προβλημάτων βελτιστοποίησης. Αποφεύγει τα τοπικά βέλτιστα χρησιμοποιώντας μια μεταβλητή ελέγχου, που ονομάζεται θερμοκρασία. Μία άλλη συνεισφορά της έρευνας αυτής σχετίζεται με τη χρήση της θεωρίας συγκυριακής ηγεσίας των Hersey και Blanchard προκειμένου το σύστημα να προσαρμόζει ανάλογα τόσο το περιβάλλον, όσο και τη βοήθεια προς τους εκπαιδευόμενους. Η ίδια θεωρία μάλιστα χρησιμοποιείται και για να προτείνει στον εκπαιδευτή το πιο αποδοτικό στυλ ηγεσίας για κάθε εκπαιδευόμενο και για κάθε ανατιθέμενη εργασία. Η θεωρία συγκυριακής ηγεσίας των Hersey και Blanchard βασίζεται στο ότι οι επιτυχημένοι ηγέτες θα πρέπει να προσαρμόζουν τη συμπεριφορά τους ανάλογα με την ωριμότητα των καθοδηγούμενών τους σε επίπεδο ανατιθέμενης εργασίας. Προς το παρόν, δεν έχει αναπτυχθεί άλλο εκπαιδευτικό περιβάλλον που να εφαρμόζει αυτήν ή κάποια άλλη θεωρία ηγεσίας. Η αποτελεσματικότητα της επίδρασης της παρεχόμενης από το σύστημα βοήθειας στη μάθηση των εκπαιδευομένων έχει αποδειχθεί από τα θετικά συμπεράσματα δύο πειραμάτων αξιολόγησης που διεξήχθησαν σε πραγματικό περιβάλλον με πραγματικούς χρήστες. Ένα εκτενές μέρος αυτής της διατριβής είναι αφιερωμένο στην περιγραφή της σημασίας των συνεργατικών εργαλείων μάθησης, καθώς και στην ανάλυση του υπόβαθρού τους στη βιβλιογραφία των επιστημών της Ψυχολογίας και της Εκπαίδευσης.