Advanced machine learning techniques for data analysis and processing

Abstract

Time series classification is a fundamental machine learning task with applications spanning healthcare monitoring, human activity recognition, industrial fault detection, and financial analysis. Among the many approaches developed for this task, symbolic representations occupy a distinctive position: by discretizing continuous signals into sequences of discrete tokens, they offer a combination of computational efficiency, noise robustness, and interpretability that purely numerical or deep-learning approaches rarely match. The central technique in this family is Symbolic Aggregate approXimation (SAX), which reduces a time series to a compact symbolic string via Piecewise Aggregate Approximation (PAA) and Gaussian breakpoint discretization. Despite its two-decade prevalence, SAX and the Bag-of-Patterns (BOP) classifier built on top of it carry several well-documented weaknesses: parameter selection is typically heuristic, trend information is discarded by the piecewise averaging step, cross-channel dependencies are not natively captured in multivariate settings, sequential order between symbolic words is lost in BOP’s frequency histogram, and the symbolic vocabulary has not previously been exploited as a first-class input to modern sequence models. This thesis develops a coherent programme of extensions that address these weaknesses systematically, while preserving the interpretability that motivates the symbolic approach in the first place. The thesis begins by conducting a systematic review of the SAX literature and organizing the identified extensions into a taxonomy structured around the specific weakness of each address, establishing the conceptual map from which the original contributions depart. The first original contribution introduces two independent extensions targeting separate weaknesses: Multichannel Intelligent Icons (MII), which captures cross-channel dependencies in multivariate time series, and Slopewise Aggregate Approximation (SAA), which recovers trend information through a parallel angle-based discretization branch. Both are evaluated on a human activity recognition benchmark. The second contribution addresses the parameter selection problem by applying the DIRECT global optimization algorithm to the joint tuning of SAX parameters across four feature-extraction strategies, evaluated on twenty-four UEA multivariate benchmark datasets. The proposed approach achieves competitive classification accuracy without gradient information or exhaustive search, while maintaining full symbolic interpretability. The third contribution bridges symbolic time series representations and Large Language Models (LLMs). Observing that SAX already produces ordered discrete token sequences – the native input format of LLMs – the thesis develops SAX_HAR-LLM, a dual-stream framework that pairs a trend-aware case-modulated symbolic encoding with lightweight kinematics-informed descriptors and fine-tunes a causal LLM via QLoRA on structured prompts derived from inertial sensor data. The framework is evaluated on two human activity recognition benchmarks and includes an attention-based interpretability analysis that links predictions to specific symbolic motifs on specific sensor axes. The fourth contribution addresses BOP’s loss of sequential order by constructing directed graphs over SAX-word transitions and learning graph embeddings via Graph Neural Networks. Two graph construction schemes are proposed and evaluated on twelve UCR univariate benchmark datasets, establishing that graph-based representations complement BOP’s frequency information most effectively on series compressed into longer symbolic strings. Taken together, these contributions constitute a systematic and empirically grounded exploration of symbolic time series representation, advancing the state of the art along four distinct dimensions while maintaining a coherent commitment to interpretability throughout.

Η ταξινόμηση χρονοσειρών αποτελεί θεμελιώδες πρόβλημα μηχανικής μάθησης με εφαρμογές που εκτείνονται από την παρακολούθηση υγείας και την αναγνώριση ανθρώπινης δραστηριότητας έως τη βιομηχανική ανίχνευση σφαλμάτων και την οικονομική ανάλυση. Μεταξύ των διαθέσιμων προσεγγίσεων, οι συμβολικές αναπαραστάσεις κατέχουν ξεχωριστή θέση: μετασχηματίζοντας συνεχείς χρονοσειρές σε ακολουθίες διακριτών συμβόλων, προσφέρουν συνδυασμό υπολογιστικής αποδοτικότητας, ανθεκτικότητας σε θόρυβο και ερμηνευσιμότητας που αριθμητικές ή βαθιές αρχιτεκτονικές σπάνια επιτυγχάνουν ταυτόχρονα. Η κεντρική τεχνική αυτής της οικογένειας είναι η Συμβολική Συναθροιστική Προσέγγιση (Symbolic Aggregate approXimation - SAX), η οποία συμπυκνώνει μια χρονοσειρά σε συμβολική ακολουθία μέσω της Τμηματικής Συναθροιστικής Προσέγγισης (Piecewise Aggregate Approximation - PAA) και γκαουσιανής διακριτοποίησης. Παρά τη διάδοσή της για δύο δεκαετίες, η SAX και το μοντέλο Bag-of-Patterns (BOP) που βασίζεται σε αυτή παρουσιάζουν γνωστούς περιορισμούς: η επιλογή παραμέτρων γίνεται συνήθως ευρετικά, η πληροφορία τάσης χάνεται κατά την τμηματική προσέγγιση, οι εξαρτήσεις μεταξύ καναλιών δεν αποτυπώνονται στο πολυδιάστατο πλαίσιο, η χρονική διάταξη των συμβολικών λέξεων χάνεται στο ιστόγραμμα συχνότητας του BOP, και το συμβολικό λεξιλόγιο δεν έχει αξιοποιηθεί ως είσοδος σύγχρονων μοντέλων ακολουθιών. Η παρούσα διατριβή αναπτύσσει ένα συνεκτικό πλαίσιο επεκτάσεων που αντιμετωπίζουν συστηματικά αυτούς τους περιορισμούς, διατηρώντας παράλληλα την ερμηνευσιμότητα που αποτελεί τον κεντρικό λόγο υιοθέτησης της συμβολικής προσέγγισης. Η διατριβή ξεκινά με συστηματική ανασκόπηση της βιβλιογραφίας SAX και οργάνωση των επεκτάσεων σε ταξινομία βάσει της αδυναμίας που η κάθε μία αποσκοπεί να αντιμετωπίσει. Η πρώτη πρωτότυπη συνεισφορά εισάγει δύο ανεξάρτητες επεκτάσεις: τα Multichannel Intelligent Icons (MII), που αποτυπώνουν συνεξαρτήσεις μεταξύ καναλιών σε πολυδιάστατες χρονοσειρές, και την Slopewise Aggregate Approximation (SAA), που ανακτά πληροφορία τάσης μέσω παράλληλου κλάδου γωνιακής διακριτοποίησης. Και οι δύο αξιολογούνται σε πρόβλημα αναγνώρισης ανθρώπινης δραστηριότητας. Η δεύτερη συνεισφορά αντιμετωπίζει το πρόβλημα επιλογής παραμέτρων εφαρμόζοντας τον αλγόριθμο καθολικής βελτιστοποίησης DIRECT για κοινή βελτιστοποίηση παραμέτρων SAX σε τέσσερις στρατηγικές εξαγωγής χαρακτηριστικών, με αξιολόγηση σε εικοσιτέσσερα σύνολα δεδομένων UEA. Η τρίτη συνεισφορά συνδέει τις συμβολικές αναπαραστάσεις χρονοσειρών και τα μεγάλα γλωσσικά μοντέλα (LLM). Παρατηρώντας ότι η SAX παράγει ήδη ταξινομημένες διακριτές ακολουθίες που αποτελούν την εγγενή μορφή εισόδου των LLM, αποφασίσαμε να αξιοποιήσουμε αυτή τη δομική συμβατότητα για αναγνώριση δραστηριότητας από αισθητήρες. Αναπτύξαμε την μέθοδο SAX_HAR-LLM, στην οποία εισαγάγαμε κωδικοποίηση τάσης μέσω εναλλαγής πεζών-κεφαλαίων συμβόλων και συνδυάσαμε τις συμβολικές ακολουθίες με κινηματικές παραμέτρους σε δομημένες εντολές προς το LLM (prompts) για την εξειδίκευση (fine-tuning) προεκπαιδευμένου LLM. Η μέθοδος αξιολογείται σε δύο σύνολα δεδομένων αναφοράς για αναγνώριση ανθρώπινης δραστηριότητας και περιλαμβάνει ανάλυση ερμηνευσιμότητας, η οποία συνδέει τις προβλέψεις με συγκεκριμένα συμβολικά μοτίβα σε συγκεκριμένους άξονες αισθητήρων. Η τέταρτη συνεισφορά αντιμετωπίζει την απώλεια αλληλουχιακής πληροφορίας στο BOP κατασκευάζοντας κατευθυνόμενους γράφους μεταβάσεων μεταξύ συμβολικών λέξεων και μαθαίνοντας αναπαραστάσεις γράφου μέσω Γραφικών Νευρωνικών Δικτύων (Graph Neural Networks – GNNs), με αξιολόγηση σε δώδεκα σύνολα δεδομένων UCR. Στο σύνολό τους, οι συνεισφορές αυτές αποτελούν μια συστηματική και εμπειρικά τεκμηριωμένη διερεύνηση της συμβολικής αναπαράστασης χρονοσειρών, που επεκτείνει τα όρια του πεδίου σε τέσσερις διακριτές κατευθύνσεις χωρίς να θυσιάζει την ερμηνευσιμότητα.