Μηχανική μάθηση και εικονικά περιβάλλοντα για ενίσχυση της ανθρώπινης μάθησης: εφαρμογή στην κατανομή φυσικών πόρων

Abstract

This PhD thesis studies the problem of natural resource allocation using machine learningprinciples, such as multi-agent modelling and reinforcement learning, in combination withthe use of virtual reality techniques for the visualization of the research findings.In the areas of agent based modelling and game theory, which set the mathematicalfoundation for the study of the problem, existing modeling approaches and multi-agent simulationplatforms are studied. Research is focused on multi-agent simulation models, anad-hoc technique for modelling social and natural phenomena with interacting users. Moreprecisely, a novel multi-agent simulation model (stochastic game) is introduced, that simulatesthe exploitation of a natural resource by a community of users that exploit the resourcein order to survive. The proposed model is capable of simulating various resource allocationpolicies and various user behavours, while its novelty lies in the fact that it encapsulatessocio-economical prameters. In more detail, it is argued that as the resource becomes scarce,possible relations of trust or communication channels that may exist between the users ofthe resource become unreliable, thus users act upon self-lucrative criteria. To encapsulatethis behaviour, the users of the proposed model are not considered to interact (i.e. observeor communicate) with each other. The proposed model was calibrated and validated usingempricial data and measurements from a real life ecosystem, which serves as a representativeexample of the failure of centralized resource allocation policies. To fully investigate theproblem, three real life resource allocation policies (irrigation policies) were implemented,whereas the experimental procedure entailed simulations for several user behaviours (greediness),generated through a Monte Carlo procedure. Experimental results were evaluatedusing appropriate figures of merit, which were defined specifically for the purposes of thisstudy, that investigate the influence of the resource allocation policies to the sustainabilityof the resource, of the users and of the overall ecosystem (users and resource simultaneously).Experimental results confirm the validity of the model and reveal the complexity ofthe problem, as none of the resource allocation policies manages to provide efficient resourceallocations that simulatneously preserve the resource and ensure the survival of its users.In order to investigate viable solutions for the aforementioned problem, research is extendedin the area of multi-agent learning and machine learning in general. Existing multiagentlearning algorithms were studied, and a novel multi-agent learning approach was introducedthat reveals efficient resource allocations without violating the constraints imposedby the problem (i.e. lack of inter-agent communication and observation). The proposedapproach, called Adaptive Rectification - AR employs a parametrized rectification functionthat encapsulates domain knowledge about the problem under study and reveals the wayagents should modify their actions in order to achieve efficient resource allocation. Four AR methods are introduced in this study, that employ different methods for the estimation of theparameters of the rectification function. More precisely the AR-Empirical method is introduced,where the parameters of the rectification function are empirically defined, the AR-RealCoded Genetic Algorithms (AR-RCGA) and AR-Covariance Matric Adaptation (AR-CMA)methods where the rectification function is estimated using stochastic optimization methodsthrough a black box optimization procedure, and finally the AR Fuzzy Particle Swarm Optimization(AR-FPSO) method where the rectification function is approximated using a fuzzyinference system that is trained using particle swarm optimization. The proposed methodsare compared to general purpose multi-agent learning algorithms and to resource allocationpolicies, while the evaluation is conducted using the same figures of merit that were also usedto investigate the influence of resource allocation policies. Experiments entail a Monte Carloprocedure that generates agent populations of varying behaviours, and the produced resultsreveal the complexity of learning in such constrained environments and the superiority ofthe proposed methods in achieving efficient resource allocations that simultaneously preservethe resource and maximize the utilities of its users.Finally, the use of virtual reality techniques for the visualization of the research findings,i.e. the problem, its complexity and its solution, is investigated. Research is focused on threedimensional virtual environments, which immerse the user in a world that replicates the realworld, provide him with means to interact in ways that are not possible in the real world,and thus making learning easier and more pleasant. The novelty of the proposed virtual environmentstems from its integration with the aforementioned multi-agent simulation model,that controls the simulations of the virtual world. In this sense, the virtual environmentacts as an interface between the learner and the multi-agent model, protecting him from themathematical complexity of the environmental model and allowing him to focus only on itsimportant parts. The virtual environment was developed with the active participation ofstudents, and the learning advantage that it provides was investigated through learning goalsthat stem from the analytical cirriculum of the Hellenic Ministry of Education. These goalsare related with the scarcity of water resources, the identification of the problems that arisefrom water overdraining and the realization of efficient solutions to the problem (throughthe proposed Adaptive Rectification methods). The evaluation of the virtual environmentis conducted by 24 students that are evenly divided in a control group, which is educatedusing conventional means, and an experimental group that interacts exclusively with theproposed virtual environment. Experimental results are gathered using a questionaire thatwas developed for the purposes of this study, which is filled by the students of both groupsprior (pre-test) and after (post-test) the learning process. Results reveal the effectivenessof the proposed virtual environment, that aids the students realize complex environmental concepts.

Αντικείμενο της παρούσας διδακτορικής διατριβής αποτελεί η διερεύνηση του προβλήματος κα-τανομής φυσικών πόρων με χρήση τεχνικών από τον χώρο της μηχανικής μάθησης, όπως ταπολυπρακτορικά μοντέλα προσομοίωσης και η ενισχυτική μάθηση, καθώς και η χρήση τεχνικώνεικονικής πραγματικότητας για την προβολή των ευρημάτων της έρευνας.Στην ερευνητική περιοχή της μοντελοποίησης βάσει πρακτόρων και της θεωρίας παιγνίων,που αποτέλεσαν και την μαθηματική βάση για τη μελέτη του προβλήματος, η έρευνα εστιάστηκεσε μια ad-hoc τεχνική για την προσομοίωση και μοντελοποίηση κοινωνικών και φυσικών φαι-νομένων, τα πολυπρακτορικά μοντέλα. Αναπτύχθηκε ένα πρωτότυπο πολυπρακτορικό μοντέλοπροσομοίωσης, το οποίο έχει τη δυνατότητα να προσομοιώνει με ακρίβεια τη διαδικασία διαμοι-ρασμού ενός υδάτινου πόρου σε μια κοινωνία χρηστών, οι οποίοι εκμεταλλεύονται τον πόρο γιαβιοποριστικούς λόγους. Το προτεινόμενο μοντέλο έχει τη δυνατότητα να προσομοιώνει διάφο-ρες πολιτικές διαμοιρασμού του πόρου και διάφορες συμπεριφορές απληστίας των χρηστών του,ενώ ενσωματώνει και κοινωνικοπολιτικές παραμέτρους, γεγονός που αποτελεί και πρωτοτυπίατης διατριβής. Πιο αναλυτικά, στα πλαίσια της διατριβής θεωρείται ότι σχέσεις εμπιστοσύνης ήδίαυλοι επικοινωνίας που πιθανόν να έχουν οι χρήστες μεταξύ τους καθίστανται αναξιόπιστεςκαθώς το νερό εξαντλείται, συνεπώς οι χρήστες δρουν ακολουθώντας καθαρά ωφελιμιστικάκριτήρια. Για να μελετηθεί αυτή η συμπεριφορά, σε όλα τα επίπεδα του μοντέλου θεωρείται ότιδεν υπάρχει κανενός είδους επικοινωνία μεταξύ των χρηστών με σκοπό την ορθότερη διαχείρισητου πόρου. Το μοντέλο παραμετροποιήθηκε και επαληθεύθηκε χρησιμοποιώντας πραγματικέςμετρήσεις και εμπειρικές παρατηρήσεις από ένα πραγματικό οικοσύστημα, αυτό της λίμνης Κο-ρώνειας, το οποίο αποτελεί ένα χαρακτηριστικό παράδειγμα αποτυχίας κεντρικών πολιτικώνδιαχείρισης ενός φυσικού πόρου. Για τη βαθύτερη μελέτη του προβλήματος υλοποιήθηκαν τρειςπραγματικές πολιτικές διαχείρισης υδάτινων πόρων (αρδευτικές πολιτικές), ενώ η πειραματι-κή διαδικασία περιελάμβανε προσομοιώσεις για διαφορετικές συμπεριφορές των χρηστών τουπόρου, που παράχθηκαν μέσω μιας διαδικασίας Monte Carlo. Η ερευνητική αποτίμηση τωναποτελεσμάτων έγινε βάσει κατάλληλων δεικτών αξιολόγησης, οι οποίοι ορίστηκαν στα πλαίσιατης διατριβής, και οι οποίοι εξετάζουν την επίδραση των πολιτικών διαχείρισης στη βιωσιμότητατου πόρου, των χρηστών αυτού αλλά και ολόκληρου του οικοσυστήματος (πόρος και χρήστεςταυτόχρονα). Τα πειραματικά αποτελέσματα επιβεβαίωσαν την ορθότητα του μοντέλου, την ι-κανότητα του να προσομοιώνει την δυναμική ενός πραγματικού οικοσυστήματος και κατέδειξαντην πολυπλοκότητα του προβλήματος.Η έρευνα επεκτάθηκε στη συνέχεια στην ερευνητική περιοχή της μηχανικής μάθησης, μεστόχο την εξεύρεση μιας ορθολογιστικής και βιώσιμης πολιτικής για την επίλυση του προ-βλήματος. Πιο αναλυτικά, μελετήθηκαν αλγόριθμοι μάθησης βέλτιστων λύσεων στοχαστικώνπαιχνιδιών και προτάθηκε μια μέθοδος πολυπρακτορικής ενισχυτικής μάθησης με σκοπό την αποτελεσματική κατανομή του πόρου, δεδομένων των κοινωνικοπολιτικών παραμέτρων (έλλειψηεπικοινωνίας μεταξύ των χρηστών). Η προτεινόμενη μέθοδος, η οποία ονομάζεται Προσαρμο-στική Βελτιστοποίηση, χρησιμοποιεί μια παραμετροποιήσιμη συνάρτηση προσαρμογής η οποίαενσωματώνει γνώση για την περιοχή του προβλήματος, τροποποιώντας τις ενέργειες των χρη-στών με σκοπό τη βέλτιστη εκμετάλλευση του πόρου. Στα πλαίσια της διατριβής, προτάθηκαντέσσερις αλγόριθμοι που βασίζονται στην Προσαρμοστική Βελτιστοποίηση. Πιο αναλυτικά,παρουσιάστηκε η AR-Empirical, κατά την οποία η συνάρτηση προσαρμογής προσδιορίζεταιεμπειρικά, η AR Covariance Matrix Adaptation (AR-CMA) και η AR Real Coded GeneticAlgorithms (AR-RCGA) στις οποίες η συνάρτηση προσαρμογής εκτιμάται με χρήση στοχαστι-κών μεθόδων αναζήτησης μέσω μιας διαδικασίας βελτιστοποίησης μαύρου κουτιού (black boxoptimization problem), ενώ τέλος προτάθηκε και η μέθοδος AR Fuzzy Particle Swarm Optimization(AR-FPSO) που περιλαμβάνει την μαθηματική προσέγγιση της συνάρτησης προσαρ-μογής με χρήση αυτορυθμιζόμενων τεχνικών μάθησης. Για την αξιολόγηση των προτεινόμενωναλγορίθμων χρησιμοποιήθηκαν οι δείκτες αποτίμησης που αξιολόγησαν τις πραγματικές πολι-τικές διαχείρισης του πόρου, ενώ έγινε μια συγκριτική αποτίμηση των προτεινόμενων μεθόδωνμε κλασικούς αλγόριθμους πολυπρακτορικής μάθησης και με πραγματικές πολιτικές διαχείρισηςυδάτινων πόρων. Τα πειραματικά αποτελέσματα καταδεικνύουν την ανωτερότητα των προτει-νόμενων μεθόδων να παράγουν βιώσιμες και αποτελεσματικές κατανομές του πόρου, κατά τιςοποίες και ο πόρος διατηρείται αλλά και οι χρήστες του μεγιστοποιούν τα κέρδη τους.Τέλος, μελετήθηκε η δυνατότητα χρήσης τεχνικών εικονικής πραγματικότητας για την προ-βολή των ευρημάτων της έρευνας, δηλαδή του προβλήματος, της πολυπλοκότητας του αλλά καιτων μεθόδων επίλυσης του, με απώτερο σκοπό την ευκολότερη κατανόηση τους. Λόγω της ιδιαι-τερότητας αλλά και της πολυπλοκότητας του προβλήματος, κρίθηκε σκόπιμη η ανάπτυξη ενόςτρισδιάστατου εικονικού περιβάλλοντος το οποίο δίνει την δυνατότητα εμβύθισης σε έναν κόσμοπου μιμείται τον πραγματικό και προσφέρει τρόπους αλληλεπίδρασης που δεν είναι εφικτοί στονπραγματικό κόσμο, καθιστώντας την μάθηση ευκολότερη και πιο ευχάριστη. Η πρωτοτυπία τουπεριβάλλοντος έγκειται στο γεγονός ότι τα στοιχεία του είναι διασυνδεδεμένα με τα στοιχείατου πολυπρακτορικού μοντέλου, το οποίο ελέγχει και τις προσομοιώσεις του εικονικού κόσμου.Με τον τρόπο αυτό, το εικονικό περιβάλλον δρα ως ένα μέσο διεπαφής ανάμεσα στον μαθητήκαι το μοντέλο, προστατεύοντας τον από την μαθηματική πολυπλοκότητα του και επιτρέπον-τας τον να εστιάσει μόνο στα σημαντικά μέρη αυτού. Το εικονικό περιβάλλον αναπτύχθηκεμε την ενεργή συμμετοχή μαθητών, ενώ το μαθησιακό πλεονέκτημα που παρέχει διερευνήθηκεμέσω μαθησιακών στόχων που πηγάζουν από το Αναλυτικό Πρόγραμμα του Υπουργείου Παι-δείας. Οι στόχοι αυτοί σχετίζονται με τη σημαντικότητα των υδάτινων πόρων, την αναγνώρισητων προβλημάτων που δημιουργούνται από την υπεράντληση νερού, καθώς και την αναγνώρισηαποτελεσματικών λύσεων του προβλήματος (μέσω των αλγορίθμων Προσαρμοστικής Βελτιστοποίησης). Η αξιολόγηση του εικονικού περιβάλλοντος έγινε με την συμμετοχή 24 μαθητών, οιοποίοι χωρίστηκαν σε μια ομάδα ελέγχου, που εκπαιδεύτηκε ακολουθώντας την κλασική μέθοδοδιδασκαλίας, και μια πειραματική ομάδα, η οποία χρησιμοποίησε το εικονικό περιβάλλον. Γιατην καταγραφή των αποτελεσμάτων χρησιμοποιήθηκε ένα ερωτηματολόγιο, το οποίο αναπτύ-χθηκε στα πλαίσια αυτής της διατριβής, και το οποίο συμπληρώθηκε πριν (pre-test) και μετά(post-test) τη διαδικασία μάθησης. Τα αποτελέσματα καταδεικνύουν την αποτελεσματικότητατου προτεινόμενου περιβάλλοντος στην κατανόηση πολύπλοκων περιβαλλοντικών εννοιών, οιοποίες θα ήταν αδύνατον να κατανοηθούν μέσω κλασικών μεθόδων διδασκαλίας.