Deep reinforcement learning traffic models for personalized driving recommendations

Abstract

The aim of this doctoral dissertation is initially to develop an inclusive personalized driving recommendation framework which first identifies each individual’s driving style and then, proposes customized driving actions that mitigate aggressiveness and riskiness, and, thereafter, to assess the impact of applying such a personalized decision support system through microsimulation by properly adjusting traffic models. The methodological approach is based on a mixture of unsupervised learning and Deep Reinforcement Learning algorithms while exploiting an always increasing naturalistic driving dataset that emerged from crowd-sensing. Using a variety of variables which describe driving behavior each individual’s driving behavior is identified both on a trip- and user-level. Findings revealed that there are 6 driving profiles that describe the overall behavior a driver has during their trip, which spans from safe to aggressiveness and distraction during driving. Subsequently, the average behavior of each driver was estimated and further exploited to separate drivers into groups. Then, two Reinforcement Learning agents were trained, each one corresponding to a specific group of drivers with common behavior, to determine the optimal behavior alteration for each driver given the way they have drove over their last trip. Specifically, the two agents correspond to cautious and more aggressive drivers respectively. The results of applying the controllers into real world data have shown that, although given the same driving characteristics of a trip, indicating the same driving behavior, the two controllers provide different driving suggestions, both of them lead to safer driving actions. Finally, a microsimulation scenario was set in order to assess traffic conditions, emissions and safety before and after applying the recommendation system. Findings have revealed that when each individual driver improves their behavior accordingly to the system’s recommendation, although traffic conditions are not improved, the calculation of key safety and environmental performance indicators unveiled a significant reduction of both conflicts and harmful emissions. Results could be exploited within the framework of an advanced active cruise control system, in the development of enhanced behavioral models or could even lead to the revision of policy measures that utilize driving behavior as a key controller of traffic management.

Ο στόχος της παρούσας διδακτορικής διατριβής είναι, αρχικά, να αναπτύξει μια ολοκληρωμένη προσέγγιση για τη δημιουργία ενός εξατομικευμένου συστήματος παροχής συστάσεων οδήγησης το οποίο πρώτα θα ανιχνεύει τη συμπεριφορά οδήγησης και στη συνέχεια θα προτείνει εξατομικευμένες ενέργειες που μετριάζουν την επιθετικότητα και το ρίσκο κατά την οδήγηση, και έπειτα, να εκτιμήσει τις επιπτώσεις της εφαρμογής ενός τέτοιου συστήματος μέσω προσομοίωσης προσαρμόζοντας κατάλληλα τις παραμέτρους του κυκλοφοριακού μοντέλου. Η μεθοδολογική προσέγγιση βασίζεται σε ένα μείγμα αλγορίθμων μη επιβλεπόμενης και ενισχυτικής μάθησης, στα πλαίσια των οποίων αξιοποιείται μια βάση δεδομένων πραγματικής οδήγησης που συλλέγονται από το πλήθος. Χρησιμοποιώντας μια ποικιλία μεταβλητών που περιγράφουν τον τρόπο οδήγησης, προσδιορίζεται η συμπεριφορά οδήγησης τόσο σε επίπεδο διαδρομής όσο και σε επίπεδο χρήστη. Η ανάλυση ανέδειξε 6 προφίλ οδήγησης που περιγράφουν τη συνολική συμπεριφορά ενός οδηγού κατά τη διάρκεια της διαδρομής του, και εκτείνονται από την ασφαλή έως την επιθετική οδήγηση και την οδήγηση με απόσπαση προσοχής. Στη συνέχεια, η μέση συμπεριφορά κάθε οδηγού εκτιμήθηκε και αξιοποιήθηκε περαιτέρω για να διαχωριστούν οι οδηγοί σε ομάδες με κοινά χαρακτηριστικά. Δύο ξεχωριστοί πράκτορες Ενισχυτικής μάθησης εκπαιδεύτηκαν, ένας για κάθε ομάδα χρηστών, οι οποίοι είναι σε θέση να προσδιορίζουν τη βέλτιστη αλλαγή στη συμπεριφορά κάθε οδηγού δεδομένου του τρόπου που ο ίδιος οδήγησε στην προηγούμενη διαδρομή του. Πιο συγκεκριμένα, οι δύο πράκτορες αντιστοιχούν στους τυπικούς οδηγούς και στους πιο επιθετικούς/μη ασφαλείς οδηγούς, αντίστοιχα. Τα αποτελέσματα της αξιοποίησης των συστάσεων οδήγησης έδειξαν ότι, δεδομένων των ίδιων χαρακτηριστικών οδήγησης για μια διαδρομή, που υποδηλώνουν ίδια συμπεριφορά οδήγησης, οι δύο πράκτορες παράγουν διαφορετικές συστάσεις οι οποίες ταιριάζουν με τις προτιμήσεις της εκάστοτε ομάδας οδηγών, παρόλο που και οι δύο οδηγούν σε ασφαλέστερες ενέργειες οδήγησης. Τέλος, δύο κύκλοι προσομοίωσης πραγματοποιήθηκαν προκειμένου να αξιολογηθούν οι επιπτώσεις της εφαρμογής ενός τέτοιου συστήματος τόσο στην κυκλοφορία, όσο και στην οδική ασφάλεια και το περιβάλλον. Τα ευρήματα έδειξαν ότι εάν όλοι οι οδηγοί βελτιώσουν τη δική τους συμπεριφορά οδήγησης τότε, παρόλο που οι συνθήκες κυκλοφορίας δε βελτιώνονται, παρατηρούνται σημαντικές μειώσεις τόσο στις εκπομπές βλαβερών αερίων όσο και στις εμπλοκές ανάμεσα στα οχήματα. Τα αποτελέσματα αυτής της έρευνας μπορούν να αξιοποιηθούν στα πλαίσια ενός προηγμένου συστήματος υποβοήθησης του οδηγού, στην ανάπτυξη προχωρημένων προτύπων συμπεριφοράς ή ακόμη και να οδηγήσουν στην αναθεώρηση των πολιτικών που χρησιμοποιούν τη συμπεριφορά οδήγησης ως κινητήριο δύναμη για τη διαχείριση της κυκλοφορίας.