Deep reinforcement learning and generative adversarial modeling in traffic applications

Abstract

Artificial intelligence (AI) has brought significant transformations in various domains of everyday life, revolutionizing human-machine interactions. Intelligent agents, the fundamental components of AI systems, have the ability to perceive, reason, and act in their environment to achieve specific goals. Ranging from simple rule-based systems to complex deep learning models, these agents can be trained using a variety of learning schemes falling under the broader umbrella of machine learning (ML). One influential sub-field of ML that has gained considerable attention is reinforcement learning (RL). RL focuses on training intelligent agents to make sequential decisions by interacting with an environment, drawing inspiration from trial-and-error learning observed in humans and animals. Another ML technique, known as imitation learning (IL), combines supervised learning and RL principles by learning from expert demonstrations. This dissertation explores the application of both RL and IL techniques in the context of traffic applications, addressing the significant challenges of (a) congestion management and (b) trajectory modeling. Traffic applications play a vital role in modern society, as they encompass a wide range of systems and technologies aimed at managing and optimizing the behavior and the navigation of vehicles including various modes of transportation such as ground vehicles, roadway systems, air vehicles, and sea vessels. Congestion occurs when the demand for shared resources exceeds supply, leading to reduced efficiency of the overall system. Trajectory modeling involves analyzing and predicting expert behaviors based on historical demonstrated data. These challenges are not limited to the traffic domain but may also be extended to other fields where similar optimization and decision-making problems arise. This PhD is separated in three parts where the following problems are studied: (a) urban traffic navigation, (b) air traffic management, and (c) aircraft trajectory prediction.In the first part, the aim is to create efficient multi-agent systems for controlling and navigating fleets of vehicles in unsignalized large-scale urban road networks with complex scenarios and noise. By employing multi-agent reinforcement learning (MARL) techniques, the study seeks to navigate vehicles safely, preventing collisions, and minimizing traveling time. The proposed research contributes to the advancement of intelligent traffic management systems by utilizing RL techniques to optimize traffic flow and reduce congestion in urban areas.The second part focuses on tackling congestion problems in the aviation domain, particularly focusing on the demand and capacity balance (DCB) problem in air traffic management (ATM). By employing MARL schemes and leveraging hierarchical frameworks, the study seeks to minimize flight delays, optimize airspace utilization, and reduce fuel consumption and operating costs. The cooperative behavior of the involved flights is enabled to achieve more efficient use of the airspace and enhance overall performance of the multi-agent system. The final part studies generative models and trajectory modeling techniques in the aviation domain. Trajectory prediction is of an utmost importance for congestion management, and IL techniques offer a promising approach by training agents to imitate expert behaviors. Multi-modal imitation learning can further enhance trajectory prediction by capturing various behavioral patterns exhibited during flight execution. By leveraging expert data and modeling distinct patterns, the proposed approach improves the accuracy and robustness of trajectory prediction systems, leading to enhanced air traffic management, optimized route planning, and safer and more efficient flights.

Η τεχνητή νοημοσύνη (ΤΝ) έχει επιφέρει σημαντικές αλλαγές σε διάφορους τομείς της καθημερινής ζωής, φέρνοντας επανάσταση στις αλληλεπιδράσεις ανθρώπου-μηχανής. Οι ευφυείς πράκτορες, που αποτελούν τα θεμελιώδη συστατικά των συστημάτων ΤΝ, έχουν την ικανότητα να αντιλαμβάνονται, να συλλογίζονται και να ενεργούν στο περιβάλλον τους για να επιτύχουν συγκεκριμένους στόχους. Από απλά συστήματα βασισμένα σε κανόνες μέχρι πολύπλοκα μοντέλα βαθιάς μάθησης, οι ευφυείς μπορούν να εκπαιδευτούν χρησιμοποιώντας μια ποικιλία τεχνικών μάθησης που εμπίπτουν στο ευρύτερο πεδίο της μηχανικής μάθησης. Ενα σημαντικό υποπεδίο της μηχανικής μάθησης που έχει αντλήσει σημαντική προσοχή, είναι η ενισχυτική μάθηση. Η ενισχυτική μάθηση επικεντρώνεται στην εκπαίδευση ευφυών πρακτόρων για τη λήψη διαδοχικών αποφάσεων αλληλεπιδρώντας με ένα περιβάλλον, αντλώντας έμπνευση από τη μάθηση δοκιμής και σφάλματος που παρατηρείται σε ανθρώπους και ζώα. Μια άλλη τεχνική μηχανικής μάθησης, γνωστή και ως μάθηση μέσω μίμησης, συνδυάζει την εποπτευόμενη μάθηση και τις αρχές της ενισχυτικής μάθησης μαθαίνοντας από τις επιδείξεις ειδικών.Η παρούσα διατριβή διερευνά την εφαρμογή τόσο των τεχνικών ενισχυτικής μάθησης όσο και αυτών της μάθησης μέσω μίμησης στο πλαίσιο των εφαρμογών κυκλοφορίας, αντιμετωπίζοντας τις σημαντικές προκλήσεις της (α) διαχείρισης συμφόρησης και (β) μοντελοποίησης τροχιάς. Οι εφαρμογές της κυκλοφορίας διαδραματίζουν ζωτικό ρόλο στη σύγχρονη κοινωνία, καθώς περιλαμβάνουν ένα ευρύ φάσμα συστημάτων και τεχνολογιών που αποσκοπούν στη διαχείριση και βελτιστοποίηση της συμπεριφοράς και της πλοήγησης των οχημάτων, συμπεριλαμβανομένων των διαφόρων τύπων μεταφοράς, όπως τα οχήματα εδάφους, τα οδικά συστήματα, τα εναέρια οχήματα και τα θαλάσσια σκάφη. Η συμφόρηση συμβαίνει όταν η ζήτηση για διαμοιραζόμενους πόρους υπερβαίνει την προσφορά, οδηγώντας σε μειωμένη αποτελεσματικότητα του συνολικού συστήματος. Η μοντελοποίηση της τροχιάς περιλαμβάνει την ανάλυση και την πρόβλεψη συμπεριφορών από ειδικούς με βάση ιστορικά δεδομένα παραδειγμάτων. Αυτές οι προκλήσεις δεν περιορίζονται στον τομέα της κυκλοφορίας, αλλά μπορούν επίσης να επεκταθούν και σε άλλους τομείς όπου προκύπτουν παρόμοια προβλήματα βελτιστοποίησης και λήψης αποφάσεων. Το παρόν διδακτορικό χωρίζεται σε τρία μέρη όπου μελετώνται τα ακόλουθα προβλήματα: (α) πλοήγηση αστικής κυκλοφορίας, (β) διαχείριση εναέριας κυκλοφορίας, και (γ) πρόβλεψη τροχιάς αεροσκαφών.Στο πρώτο μέρος, ο στόχος είναι να δημιουργηθούν αποτελεσματικά πολυπρακτορικά συστήματα για τον έλεγχο και την πλοήγηση στόλων οχημάτων σε μη σηματοδοτούμενα μεγάλης κλίμακας αστικά οδικά δίκτυα με σύνθετα σενάρια και θόρυβο. Με τη χρήση τεχνικών πολυπρακτορικής ενισχυτικής μάθησης, η μελέτη επιδιώκει να πλογήσει με ασφάλεια τα οχήματα, αποτρέποντας τις συγκρούσεις και ελαχιστοποιώντας τον χρόνο ταξιδιού. Η προτεινόμενη έρευνα συμβάλλει στην πρόοδο των ευφυών συστημάτων διαχείρισης της κυκλοφορίας με τη χρήση τεχνικών ενισχυτικής μάθησης για τη βελτιστοποίηση της ροής της κυκλοφορίας και τη μείωση της συμφόρησης στις αστικές περιοχές.Το δεύτερο μέρος επικεντρώνεται στην αντιμετώπιση των προβλημάτων συμφόρησης στον τομέα των αερομεταφορών, με ιδιαίτερη έμφαση στο πρόβλημα ισορροπίας μεταξύ ζήτησης και χωρητικότητας στην διαχείριση του εναέριας κυκλοφορίας. Χρησιμοποιώντας πολυπρακτορικά συστήματα ενισχυτικής μάθησης και αξιοποιώντας ιεραρχικές δομές, η μελέτη επιδιώκει να ελαχιστοποιήσει τις καθυστερήσεις των πτήσεων, να βελτιστοποιήσει τη χρήση του εναέριου χώρου και να μειώσει την κατανάλωση καυσίμων και το λειτουργικό κόστος. Η συνεργατική συμπεριφορά των εμπλεκόμενων πτήσεων επιτρέπει την αποτελεσματικότερη χρήση του εναέριου χώρου και την ενίσχυση της συνολικής διαχείρισης του πολυπρακτορικού συστήματος.Το τελευταίο μέρος μελετά παραγωγικά μοντέλα μάθησης και τεχνικές μοντελοποίησης τροχιών στον εναέριο τομέα. Η πρόβλεψη τροχιάς είναι υψίστης σημασίας για τη διαχείριση της συμφόρησης και οι τεχνικές μάθησης μέσω μίμησης προσφέρουν μια πολλά υποσχόμενη προσέγγιση εκπαιδεύοντας πράκτορες με σκοπό να μιμηθούν τις συμπεριφορές των ειδικών. Η πολυτροπική μάθηση μέσω μίμησης μπορεί να ενισχύσει περαιτέρω την πρόβλεψη της τροχιάς, αναλύοντας διάφορα πρότυπα συμπεριφοράς που εμφανίζονται κατά την εκτέλεση των πτήσεων. Αξιοποιώντας τα δεδομένα των ειδικών και μοντελοποιώντας διαφορετικά μοτίβα, η προτεινόμενη προσέγγιση βελτιώνει την ακρίβεια και την ευρωστία των συστημάτων πρόβλεψης τροχιάς, οδηγώντας σε βελτιωμένη διαχείριση της εναέριας κυκλοφορίας, βελτιστοποιημένο σχεδιασμό διαδρομών και ασφαλέστερες και αποδοτικότερες πτήσεις.