Machine learning approaches for time series problems

Abstract

This thesis presents original research in the intersection of machine learning and time series. Time series data is everywhere in nature or our daily life. Every sequence of data where the order in terms of time matters consists of a time series. This type of data has unique properties. Time series data emerge from the dynamics of complex systems and are high dimensional. These aspects bring out many new challenges when trying to extract useful information from time series data using machine learning methods. We focus on both practical and theoretical aspects of machine learning methods when dealing with time series data. The three main pillars of our contributions include novel machine learning architectures, time series embedding representations and designing deep learning models based on information theoretic principles. Our research goals are driven by three common time series problems such as blind source separation, classification and regression. The domains of the data that are used in this work span energy, speech and health. Regarding the first domain we selected the problem of non-intrusive load monitoring (NILM). From the domain of speech the problems that are tackled are speech commands classification and speaker recognition. Finally, in the domain of health we conducted experiments related to mining electrocardiograms (ECGs) and bone age assessment. One of our first contributions is a comprehensive investigation of the aforementioned real-world problems, where we identified research opportunities. The first pillar of our scientific contributions comprises novel machine learning solutions for the problem of NILM. We propose a new stacking machine learning system, a transfer learning mechanism that utilises imaging techniques for time series and three novel neural architectures. Our methods are compared against existing ones and demonstrate state-of-the-art results. Furthermore, we address several evaluation issues by introducing new evaluation measures/approaches and developing new benchmark frameworks. The second major contribution of this research regards time series representations. Time series representation has been an active research direction the last few decades. With the rise of the internet of things (IoT) and the explosion of time series data from various sensors, it is apparent that efficient representations without losing useful information are imperative. We propose a novel time series embedding representation, named Signal2Vec. Signal2Vec is an unsupervised approach to transform a given time series into vectors. The proposed algorithm is compared against existing time series representation methods from the domain of signal processing and chaos theory. The evaluation tasks are a multiclass classification of energy data and the problem of NILM seen as a multilabel classification approach. Signal2Vec outperforms the other methods and demonstrates state-of-the-art results on the above-mentioned tasks. Our third scientific addition touches two research disciplines, deep learning and information theory. Information theory has been a powerful tool for machine learning since the first steps of the field. Nowadays, information theoretic principles are utilised in order to bridge the gap between theory and practice in deep learning. Despite the success of deep learning in many domains, designing such models relies on the process of trial and error. A rigorous mathematical theory of overparameterized models is still missing. Our efforts focus on a popular component of modern neural architectures, called pooling and includes both theoretical and empirical outcomes. We study existing pooling operations via the lens of information theory and try to answer the question of which function should be chosen when designing a new neural network given a task and some data. Then, we develop two novel pooling operations based on the principle of maximum entropy and the principle of information bottleneck. Our theoretical outcomes are verified via experimentation. The proposed methods are compared against others and show superior performance in classification and regression tasks, when solving problems in the areas of speech and health. This scientific work is a stepping stone towards more reliable and efficient machine learning methods for time series problems. We hope that our findings will motivate future researchers and will serve as tools for engineers in high impact industrial applications.

Αυτή η διατριβή παρουσιάζει πρωτότυπη έρευνα στη διασταύρωση των περιοχών της μηχανικής μάθησης και των χρονοσειρών. Τα δεδομένα χρονοσειρών βρίσκονται παντού στη φύση ή στην καθημερινή μας ζωή. Κάθε ακολουθία δεδομένων όπου η σειρά από άποψη χρόνου έχει σημασία αποτελείται από μια χρονοσειρά. Αυτός ο τύπος δεδομένων έχει μοναδικές ιδιότητες. Τα δεδομένα χρονοσειρών προκύπτουν από τη δυναμική σύνθετων συστημάτων και είναι υψηλών διαστάσεων. Αυτές οι πτυχές αναδεικνύουν πολλές νέες προκλήσεις κατά την προσπάθεια εξαγωγής χρήσιμων πληροφοριών από δεδομένα χρονοσειρών χρησιμοποιώντας μεθόδους μηχανικής μάθησης. Εστιάζουμε τόσο σε πρακτικές όσο και σε θεωρητικές πτυχές των μεθόδων μηχανικής μάθησης όταν ασχολούμαστε με δεδομένα χρονοσειρών. Οι τρεις βασικοί πυλώνες της συνεισφοράς μας περιλαμβάνουν νέες αρχιτεκτονικές μηχανικής μάθησης, αναπαραστάσεις ενσωμάτωσης χρονοσειρών και σχεδιασμό μοντέλων βαθιάς μάθησης με βάση τις θεωρητικές αρχές της πληροφορίας. Οι ερευνητικοί μας στόχοι καθοδηγούνται από τρία κοινά προβλήματα χρονοσειρών, όπως ο διαχωρισμός τυφλών πηγών, η ταξινόμηση και η παλινδρόμηση. Οι τομείς των δεδομένων που χρησιμοποιούνται σε αυτό το έργο καλύπτουν ενέργεια, ομιλία και υγεία. Όσον αφορά τον πρώτο τομέα, επιλέξαμε το πρόβλημα της μη παρεμβατικής παρακολούθησης φορτίου (NILM). Από τον τομέα της ομιλίας τα προβλήματα που αντιμετωπίζονται είναι η ταξινόμηση εντολών ομιλίας και η αναγνώριση ομιλητή. Τέλος, στον τομέα της υγείας πραγματοποιήσαμε πειράματα σχετικά με ηλεκτροκαρδιογραφήματα εξόρυξης (ECGs) και εκτίμηση οστικής ηλικίας. Μία από τις πρώτες συνεισφορές μας είναι μια ολοκληρωμένη διερεύνηση των προαναφερθέντων πραγματικών προβλημάτων, όπου εντοπίσαμε ερευνητικές ευκαιρίες. Ο πρώτος πυλώνας των επιστημονικών μας συνεισφορών περιλαμβάνει νέες λύσεις μηχανικής εκμάθησης για το πρόβλημα του NILM. Προτείνουμε ένα νέο σύστημα μηχανικής μάθησης στοίβαξης, έναν μηχανισμό μάθησης μεταφοράς που χρησιμοποιεί τεχνικές απεικόνισης για χρονοσειρές και τρεις νέες νευρωνικές αρχιτεκτονικές. Οι μέθοδοί μας συγκρίνονται με τις υπάρχουσες και επιδεικνύουν αποτελέσματα αιχμής. Επιπλέον, αντιμετωπίζουμε διάφορα ζητήματα αξιολόγησης εισάγοντας νέα μέτρα/προσεγγίσεις αξιολόγησης και ανάπτυξη νέων πλαισίων αναφοράς. Η δεύτερη σημαντική συμβολή αυτής της έρευνας αφορά τις αναπαραστάσεις χρονοσειρών. Η αναπαράσταση χρονοσειρών είναι μια ενεργή ερευνητική κατεύθυνση τις τελευταίες δεκαετίες. Με την άνοδο του Διαδικτύου των πραγμάτων (IoT) και την έκρηξη δεδομένων χρονοσειρών από διάφορους αισθητήρες, είναι προφανές ότι είναι επιτακτική μία αποτελεσματική αναπαράσταση χωρίς απώλεια χρήσιμων πληροφοριών. Προτείνουμε μια νέα αναπαράσταση ενσωμάτωσης χρονοσειρών, που ονομάζεται Signal2Vec. Το Signal2Vec είναι μια μη εποπτευόμενη προσέγγιση για τη μετατροπή μιας δεδομένης χρονοσειράς σε διανύσματα. Ο προτεινόμενος αλγόριθμος συγκρίνεται με τις υπάρχουσες μεθόδους αναπαράστασης χρονοσειρών από τον τομέα της επεξεργασίας σήματος και της θεωρίας του χάους. Οι εργασίες αξιολόγησης είναι μια ταξινόμηση πολλών κατηγοριών ενεργειακών δεδομένων και το πρόβλημα του NILM το οποίο θεωρείται ως προσέγγιση ταξινόμησης πολλαπλών ετικετών. Το Signal2Vec ξεπερνά τις άλλες μεθόδους και επιδεικνύει αποτελέσματα τελευταίας τεχνολογίας στις προαναφερθείσες εργασίες. Η τρίτη επιστημονική μας προσθήκη αγγίζει δύο ερευνητικούς κλάδους, τη βαθιά μάθηση και τη θεωρία της πληροφορίας. Η θεωρία της πληροφορίας είναι ένα ισχυρό εργαλείο για τη μηχανική μάθηση από τα πρώτα βήματα του πεδίου. Σήμερα, οι αρχές της θεωρίας της πληροφορίας χρησιμοποιούνται για να γεφυρωθεί το χάσμα μεταξύ θεωρίας και πράξης στη βαθιά μάθηση. Παρά την επιτυχία της βαθιάς μάθησης σε πολλούς τομείς, ο σχεδιασμός τέτοιων μοντέλων βασίζεται στη διαδικασία της δοκιμής και του λάθους. Μια αυστηρή μαθηματική θεωρία υπερπαραμετροποιημένων μοντέλων εξακολουθεί να λείπει. Οι προσπάθειές μας επικεντρώνονται σε ένα δημοφιλές στοιχείο των σύγχρονων νευρωνικών αρχιτεκτονικών, που ονομάζεται pooling και περιλαμβάνει τόσο θεωρητικά όσο και εμπειρικά αποτελέσματα. Μελετάμε τις υπάρχουσες λειτουργίες pooling μέσα από το πρίσμα της θεωρίας πληροφοριών και προσπαθούμε να απαντήσουμε στο ερώτημα ποια συνάρτηση θα πρέπει να επιλεγεί κατά το σχεδιασμό ενός νέου νευρωνικού δικτύου με μια εργασία και ορισμένα δεδομένα. Στη συνέχεια, αναπτύσσουμε δύο νέες λειτουργίες pooling που βασίζονται στην αρχή της μέγιστης εντροπίας και στην αρχή της συμφόρησης πληροφορίας (IB). Τα θεωρητικά μας αποτελέσματα επαληθεύονται μέσω πειραμάτων. Οι προτεινόμενες μέθοδοι συγκρίνονται με άλλες και παρουσιάζουν ανώτερη απόδοση σε εργασίες ταξινόμησης και παλινδρόμησης, κατά την επίλυση προβλημάτων στους τομείς της ομιλίας και της υγείας. Αυτή η επιστημονική εργασία είναι ένα βήμα προς πιο αξιόπιστες και αποτελεσματικές μεθόδους μηχανικής μάθησης για προβλήματα χρονοσειρών. Ελπίζουμε ότι τα ευρήματά μας θα αποτελέσουν κίνητρο για τους μελλοντικούς ερευνητές και θα χρησιμεύσουν ως εργαλεία για μηχανικούς σε βιομηχανικές εφαρμογές υψηλού αντίκτυπου