Adaptive optimization of intelligent agents

Abstract

In the contemporary framework of Internet of Things (IoT) ecosystems, the challenge of efficient control is mandatory. However, such ecosystems exhibit intricate dynamics that evolve over time, accompanied by heightened uncertainty, further complicating the control design task. Conventional control schemes face multiple challenges when controlling IoT systems, such as the need for scalability to manage an ever-increasing number of devices and the heterogeneity that comes with a diverse range of device types, operating systems, and communication protocols. The reliability and robustness of these systems are often tested by the unpredictable conditions in which IoT devices operate, requiring more adaptive and resilient control mechanisms. Furthermore, the integration of conventional control approaches into IoT architectures can be complicated due to interoperability issues, as these systems were not originally designed for the level of communication and data exchange IoT demands. Security and privacy also present significant hurdles, as traditional control schemes may lack the sophistication needed to protect against the myriad of threats present in the interconnected IoT landscape. Additionally, the latency-sensitive nature of many IoT applications requires control schemes able to process and react to data in real-time. In order to overcome such limitations Cognitive Adaptive Optimization (CAO), present a tailored solution to address the inherent limitations of traditional control schemes in IoT ecosystems. The initial Centralized CAO-based framework has proven adequate to efficiently process large datasets and perform comprehensive optimization by requiring limited computational resources, thus providing optimal control strategies that are informed by a global perspective of the system. On the other hand, the recently emerged decentralized CAO-based Control proved sufficient to disperse the computational load by enabling a local-for-global optimization, which not only reduces the strain on communication networks but also allows for real-time responsiveness and individualized adaptation. In order to further evaluate the efficiency of both CAO-based algorithms in real-life – or close to real-life implementations – the initial contribution of this thesis is focused on comparing the efficiency of the algorithms towards robust baseline control approaches widely used in literature. However, the challenges that IoT frameworks are not limited to the aforementioned well-known attributes. Powered by scientific evolution, modern IoT frameworks are becoming increasingly sophisticated, designed to handle complex, large-scale operations across dispersed geographical regions and cloud-based environments. Such frameworks my concern a multitude of applications, from intricate smart city infrastructures to vast, interconnected distributed industrial systems. The ability to process and analyze data from a distributed network is quite challenging and requires control solutions holding a diverse philosophy to traditional optimization schemes: except from the computational intensity that traditional schemes require due to the vast size of IoT frameworks, inherent latency and unpredictability in network communications, prohibit a time-efficient optimization between the different elements of the IoT ecosystem. The vast and varied nature of IoT devices, each with different processing capabilities and response times, complicates achieving real-time synchronization. Additionally, bandwidth limitations and the potential for packet loss in wireless communications, further exacerbate delays and hinder the feasibility of synchronous operations in IoT frameworks. Combining decentralized algorithms with the training of neural networks may potentially offer manifold benefits in controlling such complex, geographically dispersed IoT ecosystems. Firstly, it permits systems to autonomously adapt to local conditions, ensuring efficient and accurate control decisions. Secondly, it avails opportunities for the swift integration of innovative solutions and technologies - since neural networks can be dynamically trained and adjusted. Thirdly, the decentralized approach enhances the system's durability and reliability, as issues in one part of the network don't necessarily permeate the entire structure. Lastly, the capability of neural networks to tackle intricate and uncertain problems, combined with decentralized processing, presents a robust solution to confront the control challenges accompanying intricate IoT ecosystems. Especially, if training practices potentially integrated asynchronous updates among neural network blocks/partitions - each pertaining to separate IoT ecosystem components - it would emerge as an ideal solution in environments where devices might not always be connected or may have disparate processing rates – e.g., geographically distributed IoT Networks. This blend of decentralized training and asynchronous updates could yield solutions to control issues that remain unresolved with traditional methods, such as dynamically adapting to environmental changes and addressing uncertainties on a grand scale. To this end, grounded on the efficiency of the previously examined Centralized and Decentralized CAO-based methodologies, this thesis also proposes a novel Gradient-free training algorithm that is able to train neural networks in a fully distributed and asynchronous manner. The proposed methodology, arising for the purpose of this thesis – abbreviated as Neuro-Distributed Cognitive Adaptive Optimization (ND-CAO) – has been thoroughly evaluated in numerous training scenarios under different neural network architectures and parameters. It has to be emphasized that the concept of such algorithm has proposed for the first time in literature, enabling the gradient-free distributed and asynchronous training of a potential neural network. As such, current innovation paves the way for novel real-life model-parallelism implementations that solely require asynchronous updates between partitions since the communicational overhead prohibits the efficient training. A few examples may concern complex, geographically dispersed IoT ecosystems, distributed data centers, multi-cloud platforms. federated learning frameworks etc. The algorithmic tools examined in this thesis (Centralized & Decentralized CAO-based tools) have been extensively tested and evaluated on real-life, or close-to-real-life, IoT applications, such as residential households, expansive professional building infrastructures, traffic networks, and UAV swarm navigation into complicated industrial environments. Additionally, the algorithmic tools developed for decentralized and asynchronous training of neural networks (Neuro-Distributed Cognitive Adaptive Optimization) have been implemented on real training problems. To this end, current thesis can be delineated into the following thematic segments: Introduction (Section 1): In this section, the problem of optimal control in relation to complex IoT ecosystems is extensively discussed, with a particular focus on non-convex issues concerning optimal and adaptive control applications - which also pertain to the training of neural networks (1.1). The established state-of-the-art control practices applied in IoT ecosystems are then described, as well as the established state-of-the-art practices used in the training of neural networks (1.2). Finally, the contribution of the current research work to the specific fields of optimal control and neural network training is described, along with the publications that emerged during the development of this thesis (1.3).CAO-based Methodologies for Optimal Control & Deep Learning (Section 2): This section details the motivation behind the creation of each CAO-based algorithmic tool and delves into the mathematical structure of the theoretical tools: Centralized and Decentralized CAO-based methodologies for optimal control (2.1 & 2.2), as well as the Neuro-Decentralized CAO-based methodology for neural network training (2.3).Experiments Part I: Optimization of IoT Applications via Centralized CAO-based Methodologies (Section 3): This section illustrates the results from real-world IoT applications conducted for the evaluation of Centralized CAO-based tools, focusing on residential buildings (3.1).Experiments Part II: Optimization of Large-Scale IoT Applications via Decentralized CAO-based Methodologies (Section 4): Here, the results from simulated IoT applications are presented, conducted to evaluate Decentralized CAO-based tools. The applications pertained to commercial buildings (4.1), Traffic Management Optimization (4.2), and Optimal Navigational plan of robotic swarms (4.3).Experiments Part III: Neural Network Training via Decentralized CAO-based Methodologies (Section 5): This section presents the results from neural network training applications using a decentralized and asynchronous (5.1) approach, conducted as part of the evaluation of Neuro-Distributed CAO-based tools. General Conclusions and Future Work (Chapter 6): In this section, all the aforementioned results are synthesized and the performance of the control and training tools are evaluated. Moreover, future envisaged work arising from the results of current thesis are also illustrated Annex (Chapter 7): In this section the conventional optimization approaches denoted in the main text are mathematically described Bibliography (Chapter 8)

Στον σύγχρονο κόσμο των οικοσυστημάτων Διαδικτύου των Πραγμάτων (IoT), η πρόκληση του αποδοτικού ελέγχου παίζει κυρίαρχο ρόλο. Πολλές φορές, τα υφιστάμενα θεωρητικά και πρακτικά εργαλεία ελέγχου αδυνατούν να ανταπεξέλθουν στις δυναμικές ανάγκες των IoT εφαρμογών – ιδιαίτερα δε, εάν τα οικοσυστήματα IoT είναι μεγάλου εύρους. Αυτά τα οικοσυστήματα συχνά εμφανίζουν περίπλοκες δυναμικές, μεταβαλλόμενες στον χρόνο, και αυξημένη αβεβαιότητα - παράγοντες που επιδεινώνουν την πρόκληση του σχεδιασμού ελέγχου. Η δυναμική αυτή συμπεριφορά των IoT οικοσυστημάτων έχει ως αποτέλεσμα την παρεμπόδιση της εύρυθμης και βέλτιστής απόδοσης ελέγχου. Κατά αυτόν τον τρόπο τα συμβατικά εργαλεία ελέγχου δεν αποδίδουν κατάλληλα για ένα ευρύ φάσμα IoT εφαρμογών - ιδιαίτερα απέναντι στα μεγάλου εύρους και πολυπλοκότητας οικοσυστήματα. Κατά αυτόν τον τρόπο, στα πολύπλοκα οικοσυστήματα Διαδικτύου των Πραγμάτων (IoT), χρησιμοποιούνται συχνά αποκεντρωμένες πρακτικές ελέγχου, οι οποίες προσφέρουν αυξημένη ευελιξία, επιτρέποντας στα συστατικά τμήματα του συστήματος να λειτουργούν ανεξάρτητα, ανταποκρινόμενα σε τοπικές αλλαγές χωρίς την ανάγκη για κεντρική παρέμβαση. Αυτό μειώνει τον χρόνο αντίδρασης και αυξάνει την ανθεκτικότητα του συστήματος, καθώς τα προβλήματα σε ένα μέρος του δικτύου δεν επεκτείνονται απαραίτητα σε ολόκληρο το σύστημα. Επιπλέον, η αποκεντρωμένη προσέγγιση προσφέρει μεγαλύτερη ευελιξία, καθιστώντας ευκολότερη την προσθήκη ή αφαίρεση συσκευών στο δίκτυο χωρίς σημαντικές αναδιαμορφώσεις.Ο συνδυασμός μάλιστα, αποκεντρωμένων αλγορίθμων με την εκπαίδευση νευρωνικών δικτύων είναι δυνατόν να προσφέρει πολλαπλά θετικά απέναντι στον έλεγχο των σύνθετων IoT οικοσυστημάτων. Πρώτον, επιτρέπει την αυτόματη προσαρμογή των συστημάτων στις τοπικές συνθήκες, διασφαλίζοντας έτσι την αποδοτικότητα και την ακρίβεια των αποφάσεων ελέγχου. Δεύτερον, δίνει τη δυνατότητα για γρήγορη ενσωμάτωση καινοτόμων λύσεων και τεχνολογιών, καθώς τα νευρωνικά δίκτυα μπορούν να εκπαιδεύονται και να προσαρμόζονται δυναμικά. Τρίτον, η αποκεντρωμένη προσέγγιση αυξάνει την ανθεκτικότητα και την αξιοπιστία του συστήματος, καθώς τα προβλήματα σε ένα μέρος του δικτύου δεν επεκτείνονται απαραίτητα στο σύνολο. Κατά αυτόν τον τρόπο, η ικανότητα των νευρωνικών δικτύων να αντιμετωπίζουν πολύπλοκα και αβέβαια προβλήματα σε συνδυασμό με μια αποκεντρωμένη επεξεργασία θα μπορούσε να προσφέρει μια ισχυρή λύση για την αντιμετώπιση των προκλήσεων ελέγχου που συνοδεύουν τα σύνθετα IoT οικοσυστήματα. Ιδιαίτερα δε, εάν ήταν δυνατόν να εφαρμόσουμε πρακτικές εκπαίδευσης οι οποίες προϋποθέτουν ασύγχρονες ενημερώσεις μεταξύ των τμημάτων του Νευρωνικού Δικτύου – τα οποία αφορούν ξεχωριστά τμήματα του IoT οικοσυστήματος – θα αποτελούσε ιδανική λύση για περιβάλλοντα όπου οι συσκευές ενδέχεται να μην είναι πάντα συνδεδεμένες, να έχουν διαφορετικούς ρυθμούς επεξεργασίας – για παράδειγμα τα IoT οικοσυστήματα τα οποία βρίσκονται κατανεμημένα σε διαφορετική γεωγραφική θέση. Αυτός ο συνδυασμός αποκεντρωμένης εκπαίδευσης και ασύγχρονων ενημερώσεων θα μπορούσε να αποδώσει λύσεις σε προβλήματα ελέγχου που παραμένουν ανεπίλυτα με τις παραδοσιακές μεθόδους, όπως είναι η δυναμική προσαρμογή σε αλλαγές του περιβάλλοντος και η αντιμετώπιση αβεβαιοτήτων σε μεγάλη κλίμακα. Κατά αυτόν τον τρόπο, η παρούσα διατριβή, βασισμένη σε σύγχρονες/πρόσφατες ερευνητικές εξελίξεις, στοχεύει αρχικά στην αξιολόγηση κεντρικών και αποκεντρωμένων πρακτικών ελέγχου που βασίζονται στην πρωτότυπη αλγοριθμική του Αυτόματου Προσαρμοστικού Ελέγχου (Cognitive Adaptive Optimization: Centralized and Decentralized CAO) απέναντι σε σύνθετα συστήματα IoT σε σχέση με state-of-the-art αλγοριθμικές πρακτικές. Σε δεύτερη φάση, και με αφορμή τις CAO αποκεντρωμένες πρακτικές ελέγχου, στα πλαίσια της παρούσας διδακτορικής διατριβής εισάγεται και αξιολογείται ένας νέος Gradient-free αποκεντρωμένος αλγόριθμος που βασίζεται στην Decentralized CAO πρακτική, ο οποίος μπορείς να εκπαιδεύσει αποκεντρωμένα αλλά και ασύγχρονα τμήματα του νευρωνικού δικτύου (Neuro Distributed Cognitive Adaptive Optimization - ND-CAO). Συνεπακόλουθα, εισάγεται κι εξετάζεται η ασύγχρονη εκπαίδευση για την Gradient-free αποκεντρωμένη εκπαίδευση νευρωνικών δικτύων για πρώτη φορά στην διεθνή βιβλιογραφία, η οποία ανοίγει ανεξερεύνητους δρόμους στον τομέα της έρευνας για τα σύνθετα IoT συστήματα. Τα αλγοριθμικά εργαλεία που ελέγχθηκαν στην παρούσα διατριβή έχουν υποστεί εκτεταμένες δοκιμές και αξιολογήσεις σε πραγματικές - ή σχεδόν πραγματικές - εφαρμογές IoT, όπως οικίες, επαγγελματικά κτήρια μεγάλου εύρους, δίκτυα κυκλοφορίας οχημάτων, καθώς και στα προβλήματα καθοδήγησης σμήνους ρομποτικών συστημάτων (Centralized and Decentralized CAO). Επιπλέον, τα αλγοριθμικά εργαλεία που αναπτύχθηκαν για αποκεντρωμένη και ασύγχρονη εκπαίδευση νευρωνικών δικτύων, εφαρμόστηκαν σε πραγματικά προβλήματα εκπαίδευσης (ND-CAO). Η παρούσα εργασία μπορεί να διαχωριστεί στις παρακάτω θεματικές ενότητες: Εισαγωγή (Κεφάλαιο 1): περιγράφεται εκτενώς το προβλήματα του βέλτιστου ελέγχου απέναντι στα σύνθετα IoT οικοσυστήματα με ιδιαίτερη αναφορά στα non-convex προβλήματα για τις εφαρμογές βέλτιστου και προσαρμοστικού ελέγχου - τα οποία επίσης αφορούν την εκπαίδευση νευρωνικών δίκτυών (1.1). Στην συνέχεια της 1ης ενότητας περιγράφονται οι καθιερωμένες state-of-the-art πρακτικές ελέγχου οι οποίες εφαρμόζονται σε IoT οικοσυστήματα καθώς και οι καθιερωμένες state-of-the-art πρακτικές που εφαρμόζονται στην εκπαίδευση νευρωνικών δικτύων (1.2). Τέλος περιγράφεται η προσφορά της παρούσας ερευνητικής εργασίας απέναντι στα συγκεκριμένα πεδία βέλτιστου ελέγχου και εκπαίδευσης νευρωνικών δικτύων καθώς επίσης και οι δημοσιεύσεις που προέκυψαν στα πλαίσια της εκπόνησης της παρούσας διατριβής (1.3) Περιγραφή CAO-based Εργαλείων Βέλτιστου Ελέγχου και Εκπαίδευσης Νευρωνικών Δικτύων (Κεφάλαιο 2): περιγράφεται το έναυσμα για την δημιουργία του εκάστοτε CAO-based αλγοριθμικού εργαλείου ενώ αναλύεται λεπτομερώς η μαθηματική δομή των θεωρητικών εργαλείων: H Κεντρική και η Αποκεντρωμένη CAO-based μεθοδολογίες για βέλτιστο έλεγχο (2.1 & 2.2) Centralized and Decentralized CAO), καθώς και η Νευρο-Αποκεντρωμένη CAO-based μεθοδολογία για εκπαίδευση νευρωνικών δικτύων (2.3) (ND-CAO). Πειραματικές Διαδικασίες Ι - Εφαρμογές ΙοΤ Κεντρικών CAO-based εργαλείων (Κεφάλαιο 3): παρουσιάζονται τα αποτελέσματα από IoT εφαρμογές σε πραγματικές συνθήκες που διεξήχθησαν στα πλαίσια της αξιολόγησης των Κεντρικών CAO-based εργαλείων και αφορούσαν οικιακά κτήρια (3.1) Πειραματικές Διαδικασίες ΙΙ - Εφαρμογές ΙοΤ Αποκεντρωμένων CAO-based εργαλείων (Κεφάλαιο 4): παρουσιάζονται τα αποτελέσματα από προσομοιωμένες IoT εφαρμογές που διεξήχθησαν στα πλαίσια της αξιολόγησης των Αποκεντρωμένων CAO-based εργαλείων και αφορούσαν επαγγελματικά κτήρια (4.1), οδικά δίκτυα (4.2) και καθοδήγηση σμήνους ρομποτικών συστημάτων (4.3) Πειραματικές Διαδικασίες ΙΙΙ - Εφαρμογές Εκπαίδευσης Νευρωνικών Δικτύων μέσω Αποκεντρωμένων CAO-based εργαλείων (Κεφάλαιο 5): στην ενότητα αυτή παρουσιάζονται τα αποτελέσματα από εφαρμογές εκπαίδευσης Νευρωνικών Δικτύων με αποκεντρωμένο αλλά και με ασύγχρονο (5.1) τρόπο εκπαίδευσης που διεξήχθησαν στα πλαίσια της αξιολόγησης των Νευρο-Αποκεντρωμένων CAO-based εργαλείων.Γενικά Συμπεράσματα και Μελλοντική Έρευνα (Κεφάλαιο 6): στην ενότητα αυτή αναλύονται συγκεντρωτικά όλα τα παραπάνω αποτελέσματα και αξιολογείται η απόδοση των εργαλείων ελέγχου. Παράλληλα παρέχονται και η πιθανή μελλοντική έρευνα η οποία προκύπτει από την πρόχυσα διατριβήAnnex (Κεφάλαιο 7): στην ενότητα δίνονται οι βασικές state-of-the-art πρακτικές βελτιστοποίησης οι οποίες περιγράφονται περιληπτικά στο κυρίως κείμενοΒιβλιογραφία (Κεφάλαιο 8)