Automating air traffic management with deep learning

Abstract

In recent years, Deep Learning has gained significant attention across various fields \cite{shinde2018review}. Artificial Intelligence in general aims to provide solutions to complex problems, aiding human tasks. Different applications require different approaches: some need optimal decisions surpassing human capability, while others should model human behavior. For complex problems, expecting human experts to find optimal solutions is unrealistic due to factors like dimensionality and decision impact uncertainty. Optimal Artificial Intelligence agents can process vast data, making precise decisions with high accuracy and speed, enhancing productivity and reducing errors. However, in various domains, Artificial Intelligence must consider human preferences and tolerance, guiding operators through complex situations without exceeding human capabilities. This enhances safety and trust, as the system's recommendations have the potential to become more transparent and self-explanatory. The aim of this PhD is to study solving complex problems in the Air Traffic Management domain. Demand and capacity balancing problems occur when airspace demand exceeds capacity, leading to “hotspots.” Hotspots are resolved through capacity and flow management solutions, such as regulations causing delays and rerouting. These solutions introduce uncertainty in scheduling operations, leading to time buffers, accumulated demand for resources, increased costs, and negative impacts on airlines' reliability, customer satisfaction, and environmental footprint. Another aspect of Air Traffic Management which this work delves into is aircraft trajectory prediction, the process of forecasting the future position and motion of an aircraft. It is typically done using mathematical models, algorithms, and various data sources. Accurate trajectory prediction is crucial for ensuring air traffic safety, optimizing flight routes, reducing delays, and improving fuel efficiency. This thesis contributes, through the application of Deep Learning techniques in the Air Traffic Management domain, to scalability of Deep Reinforcement Learning methods in resolving congestion problems and to transferability of knowledge gathered through Imitation Learning methods to predict aircraft trajectories. Specifically, the thesis proposes a Deep Multi-Agent Reinforcement Learning method for resolving demand-capacity imbalances in real-world Air Traffic Management settings with thousands of agents. In addition, it proposes a novel formulation addressing the problem of building transferable aircraft trajectory prediction models, casting the prediction problem as a transferable Deep Imitation Learning task.

Τα τελευταία χρόνια, η Βαθιά Μάθηση χαίρει σημαντικής προσοχής σε διάφορους τομείς \cite{shinde2018review}. Η Τεχνητή Νοημοσύνη εν γένει στοχεύει στην παροχή λύσεων σε σύνθετα προβλήματα, υποβοηθώντας ανθρώπινες εργασίες. Διαφορετικές εφαρμογές χρειάζονται διαφορετικές προσεγγίσεις: ορισμένες χρειάζονται βέλτιστες αποφάσεις που υπερβαίνουν τις ανθρώπινες δυνατότητες, ενώ άλλες πρέπει να μοντελοποιούν την ανθρώπινη συμπεριφορά. Για σύνθετα προβλήματα, η υπόθεση ότι οι ειδικοί μπορούν να βρουν βέλτιστες λύσεις είναι μη ρεαλιστική λόγω παραγόντων όπως η διαστάσεις του προβλήματος και η αβεβαιότητα στην επίδραση των αποφάσεων. Οι βέλτιστοι πράκτορες Τεχνητής Νοημοσύνης μπορούν να επεξεργαστούν τεράστιο όγκο δεδομένων, λαμβάνοντας ακριβείς αποφάσεις με υψηλή ταχύτητα, ενισχύοντας την παραγωγικότητα και μειώνοντας τα ανθρώπινα σφάλματα. Ωστόσο, σε διάφορους τομείς, η Τεχνητή Νοημοσύνη πρέπει να λαμβάνει υπόψη τις ανθρώπινες προτιμήσεις και παραδοχές, καθοδηγώντας τους χειριστές σε σύνθετες καταστάσεις χωρίς να υπερβαίνει τις ανθρώπινες δυνατότητες. Αυτό ενισχύει την ασφάλεια και την εμπιστοσύνη, καθώς οι συστάσεις του συστήματος γίνονται πιο διαφανείς και εξηγήσιμες. Ο στόχος αυτής της διατριβής είναι η μελέτη της επίλυσης σύνθετων προβλημάτων στον τομέα της Διαχείρισης Εναέριας Κυκλοφορίας. Προβλήματα ισορροπίας ζήτησης και προσφοράς εμφανίζονται όταν η ζήτηση εναέριου χώρου υπερβαίνει τις δυνατότητες του συστήματος, οδηγώντας σε συμφόρηση. Αυτές οι συμφορήσεις επιλύονται μέσω διαχείρισης της εναέριας ροής, με μεθόδους όπως η επιβολή καθυστερήσεων και εκτροπών. Αυτές οι λύσεις εισάγουν αβεβαιότητα στον προγραμματισμό πτήσεων, οδηγώντας σε συσσωρευμένη ζήτηση πόρων, αυξημένα κόστη και αρνητικές επιπτώσεις στην αξιοπιστία των αεροπορικών εταιρειών, την ικανοποίηση των πελατών και το περιβαλλοντικό αποτύπωμα. Ένας άλλος τομέας της Διαχείρισης Εναέριας Κυκλοφορίας που εξετάζεται σε αυτήν τη διατριβή είναι η πρόβλεψη τροχιών αεροσκαφών, η διαδικασία πρόβλεψης της μελλοντικής θέσης και κίνησης ενός αεροσκάφους. Συνήθως πραγματοποιείται με τη χρήση μαθηματικών μοντέλων, αλγορίθμων και διαφόρων πηγών δεδομένων. Η ακριβής πρόβλεψη τροχιάς είναι κρίσιμη για την εξασφάλιση της ασφάλειας της εναέριας κυκλοφορίας, την βελτιστοποίηση των διαδρομών πτήσης, τη μείωση των καθυστερήσεων και την βελτίωση της απόδοσης καυσίμου. Αυτή η διατριβή συμβάλλει, μέσω της εφαρμογής τεχνικών Βαθιάς Μάθησης στον τομέα της Διαχείρισης Εναέριας Κυκλοφορίας, στη δυνατότητα κλιμάκωσης μεθόδων Βαθιάς Ενισχυτικής Μάθησης στην επίλυση προβλημάτων συμφόρησης και στη μεταφερσιμότητα γνώσης που συγκεντρώθηκε μέσω μεθόδων Μάθησης Μίμησης για την πρόβλεψη τροχιών αεροσκαφών. Συγκεκριμένα, η μελέτη προτείνει μια μέθοδο Βαθιάς Πολυπρακτορικής Ενισχυτικής Μάθησης για την επίλυση ανισορροπιών ζήτησης-προσφοράς σε πραγματικές συνθήκες Διαχείρισης Εναέριας Κυκλοφορίας με χιλιάδες πράκτορες. Επιπλέον, προτείνει μια νέα μοντελοποίηση που αντιμετωπίζει το πρόβλημα της δημιουργίας μεταφέρσιμων μοντέλων πρόβλεψης τροχιών αεροσκαφών, θεωρώντας το πρόβλημα πρόβλεψης ως μια μεταφέρσιμη εφαρμογή Βαθιάς Μίμησης.