Applications of artificial intelligence in transport planning discrete choice modelling

Abstract

The present thesis regards to a research program which aimed to develop and test machine learning techniques for travel demand forecasting, especially discrete choice modelling, develop and evaluate performance metrics that can be applied to models developed with different techniques, and outline a framework for the incorporation of machine learning models in state-of-the-art transport planning models. A number of different models based on very different kinds of datasets were developed and a variety of different performance metrics were tested on them. It was found that machine learning techniques performed favorably compared to more conventional counterparts, both for regression and classification tasks, and that with modern workstation hardware necessary training times are limited with the exception of the Adaptive Neuro-Fuzzy Inference System, which required an extremely large amount of time for applications with moderate to large dimensionality. A number of different performance metrics were tested, which included measures to detect overfitting in trained models and poor performance over minority classes. Based on already existing metrics, such as the F1-score, as well as the aforementioned proposed metrics, multicriteria scores were developed to compare models developed with different techniques that also account for model complexity by considering the number of explanatory variables or the size of the hidden layer. These metrics pointed to better performance for machine learning models over their Logit counterparts, both multinomial and nested ones. It was found that severely unbalanced datasets, which is a common case for travel planning study surveys where private cars are often over-represented, may lead to severe cases of overfitting. This can be overcome by employing undersampling, where majority classes are under-represented in the training dataset compared to the sample (e.g., the results of a transport planning survey), oversampling, where minority classes are over-represented via the introduction of properly prepared synthetic datapoints, or hybrid techniques which combine these two approaches. Incorporating individuals’ perceptions of different options (e.g., regarding their cost or the social status they conveyed to their user) proved to be beneficial and to improve the performance of discrete choice models compared to ones developed with the same techniques that did not include these. Two approaches were tried to achieve this goal; the first one was to treat respondents’ perceptions as linear ordinal variables and incorporate them in a non-fuzzy machine learning model, specifically Multilayer Perceptrons, Support Vector Machines, or Radial Basis Function Networks, whereas the second one was to use an Adaptive Neuro-Fuzzy Inference System and consider them as fuzzy input variables. The second approach proved to be unwieldy, in the sense that it requires very long training times compared to its aforementioned non-fuzzy counterparts, while offering little to no performance gains. It may be possible that a different approach to incorporate the fuzziness of individuals’ responses regarding their perceptions of different choices’ characteristics is more productive and it is suggested that future research explore this utilizing some of the model comparison metrics developed for the present study. Chapter 1 provides an introduction to the problem while Chapter 2 discusses the theoretical background of transport planning and statistical pattern recognition with an emphasis on Machine Learning. Chapter 3 presents the literature review that was undertaken, whereas Chapter 4 discusses the methodology that was followed during the present program’s experiments for regression and classification tasks. Chapter 5 presents the results of the experiments, while Chapter 6 discusses their practical implications with regard to the application of Machine Learning techniques in transport planning. Finally, Chapter 7 provides a brief overview of the present research program’s conclusions.

Η παρούσα διατριβή αφορά στην παρουσίαση ερευνητικής εργασίας που σκοπό είχε την ανάπτυξη και δοκιμή τεχνικών μηχανικής μάθησης για την πρόβλεψη της ζήτησης για μετακινήσεις, ιδιαίτερα σε ό,τι αφορά υποδείγματα διακριτών επιλογών, την ανάπτυξη και αξιολόγηση μέτρων απόδοσης που μπορούν να εφαρμοσθούν σε υποδείγματα που αναπτύχθηκαν με διαφορετικές τεχνικές, και να περιγράψει ένα πλαίσιο για την ολοκλήρωση υποδειγμάτων μηχανικής μάθησης σε τελευταίας τεχνολογίας υποδείγματα συγκοινωνιακού σχεδιασμού. Αναπτύχθηκε μία σειρά υποδειγμάτων βασισμένων σε πολύ διαφορετικά σύνολα δεδομένων και μία ποικιλία μέτρων απόδοσης εφαρμόσθηκε σε αυτά. Διαπιστώθηκε ότι οι τεχνικές μηχανικής μάθηση απέδιδαν καλύτερα από πιο συμβατικές αντίστοιχες, τόσο για εφαρμογές παλινδρόμησης όσο και ταξινόμησης, και ότι με σύγχρονο εξοπλισμό σταθμού εργασίας οι απαιτούμενοι χρόνοι εκπαίδευσης ήταν περιορισμένοι, με την εξαίρεση του Προσαρμοστικού Νεύρο-Ασαφούς Συστήματος Συναγωγής, το οποίο απαίτησε εξαιρετικά μεγάλο χρόνο για εφαρμογές με μέτριο προς μεγάλο αριθμό διαστάσεων του χώρου του προβλήματος. Δοκιμάσθηκε ένας αριθμός διαφορετικών μέτρων απόδοσης, ο οποίος συμπεριλάμβανε μέτρα για τον εντοπισμό φαινομένων υπερβολικής προσαρμογής στα εκπαιδευμένα υποδείγματα και κακής απόδοσης σε σχέση με κλάσεις μειονότητας (με περιορισμένο αριθμό μελών στο δείγμα σε σχέση με άλλες). Βάσει ήδη υπαρχόντων μέτρων, όπως της βαθμολογίας F1, καθώς και τα προαναφερθέντα μέτρα, αναπτύχθηκαν πολυκριτηριακές βαθμολογίες ώστε να συγκριθούν υποδείγματα που αναπτύχθηκαν με διαφορετικές τεχνικές που επίσης συμπεριλαμβάνουν την πολυπλοκότητα λαμβάνοντας υπόψη τον αριθμό των εξηγητικών μεταβλητών ή το μέγεθος του κρυφού επιπέδου. Αυτά τα μέτρα υπέδειξαν καλύτερη απόδοση για τα υποδείγματα μηχανικής μάθησης σε σχέση με τα αντίστοιχα Logit, τόσο τα πολυπαραγοντικά όσο και τα ένθετα. Διαπιστώθηκε ότι ιδιαίτερα μη ισορροπημένα σύνολα δεδομένων, κάτι που αποτελεί συχνή περίπτωση σε συγκοινωνιακές έρευνες μετακινήσεων όπου τα ιδιωτικά αυτοκίνητα συχνά υπεραντιπροσωπεύονται, μπορεί να οδηγήσουν σε σοβαρές περιπτώσεις υπερβολικής προσαρμογής του υποδείγματος. Αυτό είναι δυνατό να επιλυθεί με τη χρήση υπό-δειγματοληψίας, όπου οι πλειοψηφικές κλάσεις υποαντιπροσωπεύονται στο εκπαιδευτικό σύνολο δεδομένων σε σχέση με το αρχικό δείγμα (π.χ. τα αποτελέσματα μίας συγκοινωνιακής έρευνας), τη χρήση υπέρ-δειγματοληψίας, όπου οι μειοψηφικές κλάσεις υπεραντιπροσωπεύονται μέσω της εισαγωγής κατάλληλα προετοιμα¬σμένων συνθετικών σημείων δεδομένων, ή υβριδικών τεχνικών που συνδυάζουν αυτές τις δύο προσεγγίσεις. Η ενσωμάτωση των αντιλήψεων των ατόμων για τις διαφορετικές επιλογές (π.χ. σε σχέση με το κόστους τους ή το κοινωνικό κύρος που προσδίδουν στο χρήστη τους) αποδείχθηκε ότι είναι θετική και βελτιώνει την απόδοση των υποδειγμάτων διακριτών επιλογών σε σύγκριση με τα εκείνα που αναπτύχθηκαν με τις ίδιες τεχνικές χωρίς να τα συμπεριλαμβάνουν. Δύο προσεγγίσεις δοκιμάσθηκαν για την επίτευξη αυτού του σκοπού: η πρώτη ήταν να θεωρηθούν οι αντιλήψεις των συμμετεχόντων ως γραμμικά τακτικές μεταβλητές και να ενσωματωθούν σε ένα μη ασαφές υπόδειγμα μηχανικής μάθησης, ιδιαίτερα Πολυεπίπεδα Αντίληπτρα, Μηχανές Διανύσματος Υποστήριξης, ή Δίκτυα Ακτινικής Συνάρτησης Βάσης, ενώ η δεύτερη ήταν η χρήση ενός Προσαρμοστικού Νεύρο-Ασαφούς Συστήματος Συναγωγής θεωρώντας τες ως ασαφείς εισαγόμενες μεταβλητές. Η δεύτερη προσέγγιση αποδείχθηκε δυσχερής, υπό την έννοια ότι απαιτεί πολύ μεγάλους χρόνους εκπαίδευσης σε σχέση με τις μη ασαφείς προαναφερθείσες αντίστοιχες, ενώ προσφέρει λίγα ή καθόλου κέρδη σε απόδοση. Ίσως είναι δυνατό ότι μία διαφορετική προσέγγιση για την ενσωμάτωση της ασάφειας των απαντήσεων των ατόμων να είναι πιο παραγωγική και προτείνεται τυχόν μελλοντική έρευνα να το εξερευνήσει χρησιμοποιώντας κάποια από τα μέτρα σύγκρισης υποδειγμάτων που αναπτύχθηκαν για την παρούσα μελέτη. Το Κεφάλαιο 1 παρέχει μία εισαγωγή στο πρόβλημα ενώ το Κεφάλαιο 2 διαπραγματεύεται το θεωρητικό υπόβαθρο του συγκοινωνιακού σχεδιασμού και της στατιστικής αναγνώρισης προτύπων με έμφαση στη Μηχανική Μάθηση. Το Κεφάλαιο 3 παρουσιάζει τη βιβλιογραφική επισκόπηση που διενεργήθηκε, ενώ το Κεφάλαιο 4 διαπραγματεύεται τη μεθοδολογία που ακολουθήθηκε στα πειράματα του παρόντος προγράμματος για εργασίες παλινδρόμησης και κατηγοριοποίησης. Το Κεφάλαιο 5 παρουσιάζει τα αποτελέσματα των πειραμάτων ενώ το Κεφάλαιο 6 εξερευνά τις πρακτικές συνέπειές τους σε σχέση την εφαρμογή τεχνικών Μηχανικής Μάθησης στο συγκοινωνιακό σχεδιασμό. Τέλος, το Κεφάλαιο 7 παρέχει με σύντομη επισκόπηση των συμπερασμάτων του παρόντος ερευνητικού προγράμματος.