Real-time mobility data analytics: methodologies for efficient anomaly detection and trajectory classification

Abstract

Nowadays, the increasing number of moving objects tracking sensors, results in the continuous flow of high-frequency and high-volume data streams. This phenomenon can especially be observed in the maritime domain since most of the vessels worldwide are now transmitting their positions periodically. Therefore, there is a strong necessity to extract meaningful information and identify mobility patterns from such tracking data in an automated fashion, eliminating the need for experts' input. Furthermore, this increase of vessel tracking data has posed new challenges in the data mining community in terms of efficient analytics and knowledge extraction out of such data. The compulsory use of Automatic Identification System (AIS) -- a vessel tracking system -- for many vessel types, which has been enforced by naval regulations, has opened new opportunities for maritime surveillance. AIS transponders are rich sources of information that everyone can collect using an RF receiver and provide real-time information about vessels' positions. Properly taking advantage of AIS data, can uncover potential illegal behavior, offer real-time alerts and notify the authorities for any kind of anomalous vessel behavior. One major challenge in vessel tracking and surveillance is the ability to detect events of interest out of the voluminous and high-velocity streams of data in real-time. What is even more challenging is the deployment of applications on-site and on the terrestrial receivers that have a limited processing capacity. On top of that, the noisy and erroneous streams of vessel tracking data, makes the accurate detection of events of interest even more challenging. In this thesis, we aim to address the above challenges. Towards this direction, we propose a distributed architecture able to identify erroneous or noisy events in streams of vessel tracking data such as spoofing and the switch-off of the vessel tracking transponder in real-time. Moreover, we introduce an extension of an existing network abstraction of maritime traffic, that is based on nodes (called way-points) that correspond to naval areas of long stays or major turns for vessels (e.g. ports, capes, offshore platforms etc.) and edges (called traversals) that correspond to the routes followed by vessels between two consecutive way-points. The focus is the connections of the network abstraction and the enrichment with semantic information about the different ways that vessels employ when traversing an edge. For achieving this, sparse historic vessel tracking data and polynomial interpolation are employed in order to extract shipping lanes; an alternative of the popular density based clustering algorithm DBSCAN is proposed over a distributed architecture, which modifies the proximity parameter of the algorithm. The proposed alternative employs in tandem the difference in i) speed, ii) course and iii) position for defining the distance between two consecutive vessel positions (two consecutive AIS signals received from the same vessel). Furthermore, novel approaches are presented for the classification of vessel activity from real-time data streams. A solution is presented that splits vessel trajectories into multiple overlapping segments and distinguishes the ones in which a vessel is engaged in trawling or longlining operation (e.g. fishing activity) from other segments that a vessel is simply underway from its departure towards its destination. Moreover, a fusion of the research fields of computer vision and trajectory classification is introduced. The aim of this fusion is the delivery of a high-precision classification of mobility patterns through deep learning schemes in near real-time, tackling the Big Data challenges of volume and velocity. Finally, towards the solution of the same challenges a wide range of several well-known trajectory compression algorithms is presented and evaluated on data originating from vessel trajectories. Trajectory compression algorithms included in this research are suitable for either historical data (offline compression) or real-time data streams (online compression). The performance evaluation is three-fold and each algorithm is evaluated in terms of compression ratio, execution speed and information loss. We present our results and findings intended for both researchers and practitioners in the field of intelligent ship tracking and surveillance.

Στην εποχή μας, ο αυξανόμενος αριθμός των αισθητήρων των κινητών αντικειμένων έχει ως αποτέ-λεσμα τη συνεχόμενη παραγωγή ροών δεδομένων υψηλής συχνότητας και μεγάλου όγκου. Αυτό το φαινόμενο παρατηρείται πολύ στον τομέα της ναυτιλίας όπου τα περισσότερα πλοία παγκοσμίως μεταδίδουν την τοποθεσία τους περιοδικά. Επομένως, υπάρχει μεγάλη ανάγκη για εξαγωγή χρήσιμης πληροφορίας και αναγνώριση μοτίβων κίνησης από αυτά τα δεδομένα με έναν αυτόματο τρόπο. Επιπλέον, η αύξηση αυτών των δεδομένων θέτει νέες προκλήσεις στην κοινότητα της εξαγωγής δεδομένων όσον αφορά την αποδοτική ανάλυση και εξαγωγή γνώσης. Η υποχρεωτική χρήση του αυτόματου συστήματος αναγνώρισης (Automatic Identification System - AIS) -- ένα σύστημα παρακολούθησης πλοίων -- σε πολλά πλοία, που έχει επιβληθεί από τους κανονισμούς ναυτιλίας, έχει ανοίξει νέες ευκαιρίες για τη ναυτιλιακή παρακολούθηση. Οι μεταδότες AIS είναι πλούσια πηγή πληροφοριών που ο καθένας μπορεί να συλλέξει με τη χρήση ενός δέκτη RF και παρέχουν πληροφορίες σε πραγματικό χρόνο για τις θέσεις των πλοίων. Η εκμετάλλευση δεδομένων AIS μπορεί να αποκαλύψει παράνομη συμπεριφορά, να προσφέρει ειδο-ποιήσεις σε πραγματικό χρόνο και να ενημερώσει τις αρχές για κάθε είδος παράξενης συμπεριφοράς. Μια μεγάλη πρόκληση στην παρακολούθηση πλοίων είναι η αναγνώριση γεγονότων ενδιαφέροντος μέσα από ογκώδεις και υψηλής συχνότητας ροές δεδομένων σε πραγματικό χρόνο. Ακόμη μεγαλύτε-ρη πρόκληση είναι η ανάπτυξη εφαρμογών στους επίγειους δέκτες που έχουν περιορισμένη ικανότη-τα επεξεργασίας. Επιπροσθέτως, οι γεμάτες λάθη και θόρυβο ροές δεδομένων παρακολούθησης πλοίων κάνει την ακριβή ανίχνευση γεγονότων ενδιαφέροντος ακόμη πιο δύσκολη. Σε αυτήν τη διατριβή προσπαθούμε να αντιμετωπίσου-με τις παραπάνω προκλήσεις. Συνεπώς, προτείνουμε μια κατανεμημένη αρχιτεκτονική ικανή να αναγνωρίζει γεγονότα μέσα από λανθασμένες και θορυβώδεις ροές δεδομένων παρακολούθησης πλοίων όπως το spoofing και το κλείσιμο των δεκτών μετάδοσης σε πραγματικό χρόνο. Επιπλέον, παρουσιάζουμε μια επέκταση ενός υπάρχοντος δικτύου ναυτιλιακής κίνησης που βασίζεται σε κόμβους που αντιστοιχούν σε ναυτικές περιοχές παρατεταμένης παραμονής πλοίων ή μεγάλων στροφών (παραδείγματος χάριν, λιμάνια, ακρωτήρια, πλατφόρμες) και ακμές που αντιστοιχούν σε διαδρομές πλοίων μεταξύ δύο διαδοχικών κόμβων. Η εστίαση του προβλήματος είναι στις συνδέσεις του δικτύου και στον εμπλουτισμό με σημασιολογική πληροφορία σχετικά με τον τρόπο διάσχισης μιας ακμής. Επομένως, αραιά ιστορικά δεδομένα παρακολούθησης πλοίων και πολυωνυμι-κή παρεμβολή χρησιμοποιούνται για την εξαγωγή διαδρομών πλοίων. Προτείνεται μια παραλλαγή του αλγορίθμου ομαδοποίησης DBSCAN πάνω από μια κατανεμημένη αρχιτεκτονική, όπου οι παράμετροι εγγύτητας του αλγορίθ-μου αλλάζουν. Η παραλλαγή του αλγορίθμου εκμεταλλεύεται τη διαφορά στην ταχύτητα, πορεία και θέση για να οριστεί η απόσταση μεταξύ δύο διαδοχικών θέσεων πλοίων. Επιπλέον, καινοτόμες προσεγγίσεις παρουσιάζονται για την κατηγοριοποίηση δραστηριότη-τας πλοίων από ροές δεδομένων σε πραγματικό χρόνο. Παρουσιάζεται μια λύση που τμηματοποι-εί τροχιές πλοίων σε πολλές μικρότερες τροχιές και ξεχωρίζει τα τμήματα στα οποία τα πλοία ψαρεύουν από άλλα τμήματα στα οποία τα πλοία απλά έχουν χαράξει πορεία προς τον προορισμό τους. Επίσης, παρουσιάζεται μια συγχώνευση των ερευνητικών τομέων του computer vision και της κατηγοριοποίησης τροχιών (trajectory classification). Ο στόχος αυτής της συγχώνευσης είναι να αυξήσει την ακρίβεια αναγνώρισης των μοτίβων κίνησης των πλοίων μέσα από τεχνικές deep learning σε πραγματικό χρόνο, υπερνικώντας τις προκλήσεις των μεγάλων δεδομένων όπως ο όγκος και η ταχύτητα. Τέλος, προς επίλυση των ίδιων προκλήσεων, διάφοροι αλγόριθμοι συμπίεσης τροχιών παρουσιάζονται και αξιολογούνται σε δεδομένα προερχόμενα από τροχιές πλοίων. Οι αλγόριθμοι συμπίεσης τροχιών που παρουσιάζονται σε αυτήν την έρευνα είναι κατάλληλοι είτε για ιστορικά δεδομένα είτε για δεδομένα πραγματικού χρόνου. Οι αλγόριθμοι αξιολογούνται ως προς το βαθμό συμπίεσης, την ταχύτητα εκτέλεσης και την απώλεια πληροφορίας. Παρουσιάζουμε τα ευρήματα αυτής της έρευνας που προορίζονται σε ερευνητές στον τομέα της έξυπνης παρακολούθη-σης πλοίων.