Adaptations of rehearsal methods for online continual learning

Abstract

The proliferation of Internet of Things (IoT) technologies and the emergence of edge-cloud computing architectures have enabled the deployment of intelligent systems that support and enhance various aspects of daily life, including healthcare, transportation, and automation. These systems rely heavily on deep learning models to perform complex tasks; however, the training and continual updating of such models demand substantial computational resources and storage capabilities. This introduces challenges related to cost, scalability, and sustainability, particularly in dynamic and resource-constrained environments such as those encountered in IoT. A critical limitation of deep learning in this context is catastrophic forgetting—the tendency of a model to lose previously acquired knowledge when trained on new data. Continual Learning (CL) has emerged as a promising solution to this issue by enabling models to learn incrementally over time, akin to human learning. However, conventional CL approaches often assume balanced data distributions and well-defined task boundaries, which rarely hold true in real-world IoT scenarios. Online Continual Learning (OCL) addresses this by processing data streams in a single pass, making it more suitable for deployment in environments where data is non-stationary and memory is limited. Among OCL strategies, rehearsal-based methods have gained prominence due to their simplicity, adaptability, and model-agnostic nature. These methods maintain a small buffer of past data, which is periodically replayed alongside new samples to reinforce prior knowledge. This thesis focuses on optimizing state-of-the-art rehearsal techniques for IoT applications, emphasizing resource efficiency and adaptability. To further enhance the robustness and reliability of continual learning systems, this work integrates two critical mechanisms: drift detection and out-of-distribution (OoD) detection. Drift detection involves identifying shifts in the data distribution—commonly referred to as concept drift—caused by changes in user behavior, sensor degradation, or environmental variation.OoD detection, in contrast, seeks to identify inputs that diverge significantly from the training distribution. Detecting such anomalies is essential for ensuring safety and dependability in autonomous and semi-autonomous IoT systems. The objective of this research is to establish a resource-aware, continually learning machine learning framework tailored to the demands of IoT environments. By combining efficient rehearsal-based continual learning with robust mechanisms for drift and OoD detection, the proposed framework aims to facilitate dependable and adaptive model deployment across a wide range of real-world applications. Together, these components—continual learning, drift detection, and OoD detection—form a holistic, resilient, and low-resource machine learning system that is capable of operating autonomously in dynamic environments. The resulting framework not only enhances the reliability and adaptability of intelligent systems but also promotes sustainable AI deployment in the growing field of IoT, where computational efficiency and robustness are paramount.

Η ραγδαία εξάπλωση του Διαδικτύου των Πραγμάτων (IoT) και η ανάπτυξη αρχιτεκτονικών υπολογιστικού νέφους και ακμής (edge-cloud) έχουν καταστήσει δυνατή την ανάπτυξη έξυπνων συστημάτων που υποστηρίζουν και ενισχύουν ποικίλες πτυχές της καθημερινής ζωής, όπως η υγειονομική περίθαλψη, οι μεταφορές και ο αυτοματισμός. Τα συστήματα αυτά βασίζονται σε μεγάλο βαθμό σε μοντέλα βαθιάς μάθησης για την εκτέλεση σύνθετων υπολογιστικών εργασιών. Ωστόσο, η εκπαίδευση και η συνεχής ενημέρωση αυτών των μοντέλων απαιτούν σημαντικούς υπολογιστικούς και αποθηκευτικούς πόρους, γεγονός που δημιουργεί προκλήσεις σε σχέση με το κόστος, την κλιμάκωση και τη βιωσιμότητα, ιδιαίτερα σε δυναμικά και περιορισμένων πόρων περιβάλλοντα όπως το IoT. Μία από τις βασικές αδυναμίες της βαθιάς μάθησης σε αυτό το πλαίσιο είναι η καταστροφική λήθη (catastrophic forgetting)—η απώλεια προϋπάρχουσας γνώσης κατά την εκπαίδευση του μοντέλου με νέα δεδομένα. Η Συνεχιζόμενη Μάθηση (Continual Learning - CL) προτείνεται ως μια υποσχόμενη λύση στο πρόβλημα αυτό, επιτρέποντας στα μοντέλα να μαθαίνουν προοδευτικά με την πάροδο του χρόνου, με τρόπο ανάλογο με την ανθρώπινη μάθηση. Ωστόσο, οι παραδοσιακές προσεγγίσεις CL συχνά υποθέτουν ισορροπημένες κατανομές δεδομένων και σαφώς καθορισμένα όρια μεταξύ των εργασιών—παραδοχές που σπάνια ισχύουν σε ρεαλιστικά περιβάλλοντα IoT. Η Σειριακή Συνεχής Μάθηση (Online Continual Learning - OCL) απαντά σε αυτές τις προκλήσεις, επιτρέποντας την εκπαίδευση του μοντέλου με μία μόνο διέλευση από τα δεδομένα, προσαρμοζόμενη καλύτερα σε συνθήκες μη σταθερών και περιορισμένων δεδομένων. Ανάμεσα στις στρατηγικές OCL, οι μέθοδοι επανάληψης (rehearsal methods) έχουν αποδειχθεί ιδιαίτερα αποτελεσματικές λόγω της απλότητας, της προσαρμοστικότητας και της ανεξαρτησίας τους από το εκάστοτε μοντέλο. Οι μέθοδοι αυτές διατηρούν ένα μικρό υποσύνολο παλαιών δεδομένων, το οποίο χρησιμοποιείται εκ νέου κατά την εκπαίδευση μαζί με νέα δείγματα, ενισχύοντας την προηγούμενη γνώση. Η παρούσα διατριβή εστιάζει στη βελτιστοποίηση προηγμένων μεθόδων επανάληψης, με σκοπό την αποτελεσματική και προσαρμόσιμη εφαρμογή τους σε σενάρια χρήσης του IoT. Για την περαιτέρω ενίσχυση της αξιοπιστίας και της σταθερότητας των συστημάτων συνεχούς μάθησης, ενσωματώνονται δύο βασικοί μηχανισμοί: ανίχνευση μεταβολής (drift detection) και ανίχνευση εκτός κατανομής δειγμάτων (Out-of-Distribution - OoD detection). Η ανίχνευση μεταβολής στοχεύει στον εντοπισμό αλλαγών στην κατανομή των δεδομένων—γνωστές ως εννοιολογική μετατόπιση (concept drift)—που μπορεί να οφείλονται σε μεταβολές της ανθρώπινης συμπεριφοράς, φθορά αισθητήρων ή περιβαλλοντικές αλλαγές. Αντίστοιχα, η ανίχνευση OoD στοχεύει στην αναγνώριση εισόδων που αποκλίνουν σημαντικά από την κατανομή των δεδομένων εκπαίδευσης. Η ικανότητα εντοπισμού τέτοιων ανωμαλιών είναι κρίσιμη για τη διατήρηση της ασφάλειας και της αξιοπιστίας σε αυτόνομα ή ημιαυτόνομα συστήματα IoT. Ο στόχος αυτής της έρευνας είναι η ανάπτυξη ενός πλαισίου μηχανικής μάθησης με επίγνωση των διαθέσιμων πόρων, το οποίο να μαθαίνει συνεχώς και να είναι προσαρμοσμένο στις απαιτήσεις των περιβαλλόντων του Διαδικτύου των Πραγμάτων (IoT). Μέσω του συνδυασμού αποδοτικών μεθόδων συνεχούς μάθησης βασισμένων σε επανάληψη, με ανθεκτικούς μηχανισμούς ανίχνευσης μεταβολών (drift detection) και ανίχνευσης εκτός κατανομής δειγμάτων (Out-of-Distribution – OoD detection), το προτεινόμενο πλαίσιο στοχεύει να διευκολύνει την αξιόπιστη και προσαρμοστική ανάπτυξη μοντέλων σε ένα ευρύ φάσμα εφαρμογών του πραγματικού κόσμου. Οι επιμέρους συνιστώσες του—η συνεχής μάθηση, η ανίχνευση μεταβολών και η ανίχνευση εκτός κατανομής—συγκροτούν ένα ολιστικό, ανθεκτικό και χαμηλής κατανάλωσης σύστημα μηχανικής μάθησης, ικανό να λειτουργεί αυτόνομα σε δυναμικά περιβάλλοντα. Το τελικό πλαίσιο δεν ενισχύει μόνο την αξιοπιστία και την προσαρμοστικότητα των ευφυών συστημάτων, αλλά προάγει και τη βιώσιμη ανάπτυξη τεχνητής νοημοσύνης στον ταχέως αναπτυσσόμενο τομέα του IoT, όπου η υπολογιστική αποδοτικότητα και η ανθεκτικότητα αποτελούν κρίσιμες παραμέτρους.