Dynamic resource orchestration and management of IoT-based cyber-physical systems

Abstract

With the advent of fifth-generation (5G) wireless networks and the Internet of Things (IoT), a crucial part of enabling modern technologies is optimizing the performance of computational offloading and resource allocation mechanisms. The current paradigm in providing additional resources to devices is Multi-Accessed Edge Computing (MEC) which is characterized by the limited availability of resources. Hence, the devices along with the edge servers form a Cyber-Physical System (CPS) which must be carefully designed to fit each application's and scenario's needs. Thus, in this dissertation, we tackle the problem of realizing efficient offloading strategies that benefit the devices and on the other hand, the task scheduling and dynamic resource allocation for optimal utilization of the edge layer's resources, while achieving high-quality of service and experience. In this PhD dissertation, we considered designing holistic frameworks and co-designing these two fundamental aspects as they are tightly coupled. Specifically, an effort is made to address the following crucial research challenges: (i) optimizing the offloading decision taking into consideration device-specific aspects (e.g., signal strength, the position of devices), (ii) optimizing the resource management of resources by jointly designing task scheduling and dynamic resource allocation mechanism that guarantees certain performance criteria while the resources are optimally utilized, (iii) the performance modeling of dynamic workloads and application to assist in deciding the correct number of deployed resources for each application, (iv) the design of practical computation offloading strategies in the concept of approximate computing to alleviate the computational burden from the devices while finding balance between duration and quality of operations and finally (v) the design of closed-loop controllers taking also into account the current state of devices, the communication overhead and the available resource on the edge side. To this end, we design a holistic architecture to optimize the offloading decision of users, i.e., users offload their request if the communication overhead is low. The offloaded requests may also be rejected by the edge server if the total amount exceeds the current capacity of the deployed resources utilizing performance modeling for the specific application. Then a central entity jointly solves the task scheduling and dynamic resource allocation problem keeping a certain QoS level for the application under a dynamic workload. Then, in a similar setting, we enhance the task scheduling and dynamic resource allocation mechanism using modeling from queuing theory to dynamically adjust the number of deployed resources for a computing-intensive application. The framework provides stability and performance guarantees for the resource management problem. This is achieved by optimally distributing the incoming tasks and the performance modeling of resources. More specifically, we utilized machine learning algorithms to map theoretically computed values for the processing rate of the deployed resources along with various monitoring KPIs. Additionally, a novel switching offloading mechanism for robotic applications is proposed. In the context of Industry 4.0, applications rely on mobile robotic agents that execute many complex tasks that have strict safety and time requirements. Under this setting, the Edge Computing service delivery model allows the robotic agents to offload their computationally intensive tasks. In particular, practical offloading strategies for mobile robot path planning and localization tasks are designed. The offloading decision is based on the uncertainty of the robot’s pose, the resource availability of the edge server, the quality of the network connection, and the difficulty of path planning. Similarly, Focusing on the stability guarantees and the convergence of the system, we introduce a set-based estimation offloading framework, for the specific case of the navigation of a unicycle robot towards a target position. The robot is subject to modeling and measurement uncertainties, and the estimation set is calculated using over approximation techniques that alleviate additional computations. A switching set-based control mechanism provides accurate navigation and triggers more precise estimation algorithms when needed. To guarantee the convergence of the system and optimize the utilization of remote resources, a utility-based offloading mechanism is designed, which takes into account both the dynamic network conditions and the available computing resources at the network edge. Finally, we study the case of real-time edge-assisted inference and batch scheduling. We find out that the quality of the Edge-assisted inference process and the overall latency of the system are competing metrics. So, we formulate a joint optimization problem to maximize the quality of inference while minimizing the overall latency for the GPU-enabled batch processing of inference applications. To deal with the computational complexity of the optimization problem, we first compute the optimal compression policies for the inference tasks to minimize the transmission time. By carefully examining the results of the compression problem, we identify that compressing the tasks in such a way to arrive simultaneously for remote processing significantly increases the performance of batch processing. Summarizing, in this thesis, we study the problem of dynamic resource orchestration and management of IoT-based Cyber-Physical Systems. The immense advancement of modern applications along with the stringent requirements for ever-expanding resources requires new sophisticated approaches in the journey of providing high QoS and QoE to users. Although many new architectural concepts have arisen in the past few years, there are still many challenges to be addressed to provide seamless operations and execution of the complex algorithms a CPS may have. The two major challenges are the task offloading strategies and the accompanied resource management mechanisms.

Με την έλευση των ασύρματων δικτύων πέμπτης γενιάς (5G) και του Διαδικτύου των Πραγμάτων (IoT), ένα κρίσιμο μέρος της ενεργοποίησης των σύγχρονων τεχνολογιών είναι η βελτιστοποίηση της απόδοσης των μηχανισμών Μεταφόρτωσης Υπολογιστικών Διεργασιών και δυναμικής κατανομής πόρων. Το τρέχον παράδειγμα παροχής πρόσθετων πόρων σε συσκευές είναι το δικτύο Υπολογισμών Πολλαπλής Πρόσβασης στα Άκρα Multi-Accessed Edge Computing (MEC), το οποίο χαρακτηρίζεται από την περιορισμένη διαθεσιμότητα πόρων. Ως εκ τούτου, οι συσκευές μαζί με τους διακομιστές edge σχηματίζουν ένα Κυβερνο-Φυσικό Σύστημα (Cyber-Physical System) το οποίο πρέπει να σχεδιαστεί ώστε να ταιριάζει στις ανάγκες κάθε εφαρμογής και σεναρίου. Έτσι, σε αυτή τη διατριβή, αντιμετωπίζουμε το πρόβλημα της υλοποίησης αποτελεσματικών στρατηγικών μεταφόρτωσης υπολογιστικών διεργασιών που ωφελούν τις συσκευές και, αφετέρου, τον προγραμματισμό εργασιών και τη δυναμική κατανομή πόρων για βέλτιστη χρήση των πόρων, επιτυγχάνοντας παράλληλα υψηλή ποιότητα εξυπηρέτησης και εμπειρίας χρήστη. Επίσης σε αυτή τη διδακτορική διατριβή, εξετάσαμε το ενδεχόμενο να σχεδιάσουμε ολιστικά πλαίσια και να συν-σχεδιάσουμε αυτές τις δύο θεμελιώδεις πτυχές καθώς είναι στενά συνδεδεμένες. Συγκεκριμένα, σε αυτή την εργασία, καταβάλλεται προσπάθεια να αντιμετωπιστούν οι ακόλουθες κρίσιμες ερευνητικές προκλήσεις: (i) βελτιστοποίηση της απόφασης μεταφόρτωσης υπολογιστικών διεργασιών λαμβάνοντας υπόψη πτυχές που σχετίζονται με τη συσκευή (π.χ. ισχύς σήματος, θέση συσκευών), (ii) βελτιστοποίηση της διαχείρισης πόρων με από κοινού σχεδιασμό του προγραμματισμού των εργασιών και ενός μηχανισμού δυναμικής κατανομής πόρων, ο οποιός εγγυάται ορισμένα κριτήρια απόδοσης ενώ ταυτόχρονα οι πόροι χρησιμοποιούνται βέλτιστα, (iii) τον καθορισμό του κατάλληλου αριθμού πόρων για κάθε εφαρμογή, (iv) ο σχεδιασμός πρακτικών υπολογιστικών στρατηγικών μεταφόρτωσης, για την ελάφρυνση του υπολογιστικού φόρτου από τις συσκευές με ταυτόχρονη εξεύρεση ισορροπίας μεταξύ του χρόνου απόκρισης και της ποιότητας της εφαρμογής και, τέλος, (v) ο σχεδιασμός ελεγκτών κλειστού βρόχου λαμβάνοντας επίσης υπόψη την τρέχουσα κατάσταση των συσκευών, το κόστος επικοινωνίας και τους διαθέσιμους πόρους στο δικτύο Υπολογισμών Πολλαπλής Πρόσβασης. Για το σκοπό αυτό, σχεδιάζουμε μια ολιστική αρχιτεκτονική για τη βελτιστοποίηση της απόφασης μεταφόρτωσης των χρηστών, δηλαδή, οι χρήστες μεταφορτώνουν το αίτημά τους εάν το κόστος επικοινωνίας είναι χαμηλό. Τα αιτήματα μιας εφαρμογής μπορεί επίσης να απορριφθούν από τον διακομιστή ακμών εάν το συνολικό πλήθος αιτημάτων, υπερβαίνει την τρέχουσα χωρητικότητα των πόρων για τη συγκεκριμένη εφαρμογή. Στη συνέχεια, μια κεντρική οντότητα επιλύει από κοινού το πρόβλημα προγραμματισμού εργασιών και δυναμικής κατανομής πόρων διατηρώντας ένα συγκεκριμένο επίπεδο εξυπηρέτησης για την εφαρμογή, σε δυναμικό φορτίο. Στη συνέχεια, σε μια παρόμοια περιβάλλον, βελτιώνουμε τον προγραμματισμό εργασιών και τον μηχανισμό δυναμικής κατανομής πόρων χρησιμοποιώντας μοντελοποίηση από τη θεωρία ουρών για να προσαρμόσουμε δυναμικά τον αριθμό των πόρων για μια εφαρμογή. Η λύση που προτείνουμε παρέχει εγγυήσεις σταθερότητας και απόδοσης για το πρόβλημα διαχείρισης πόρων. Αυτό επιτυγχάνεται με τη βέλτιστη κατανομή των εισερχόμενων εργασιών και τη μοντελοποίηση απόδοσης των πόρων. Πιο συγκεκριμένα, χρησιμοποιήσαμε αλγόριθμους μηχανικής μάθησης για να αντιστοιχίσουμε μετρικές απόδοσεις μαζί με θεωρητικά υπολογισμένες τιμές για τον ρυθμό επεξεργασίας των πόρων.Επιπλέον, προτείνεται ένας νέος μηχανισμός μεταφόρτωσης για ρομποτικές εφαρμογές. Στο πλαίσιο της Βιομηχανίας 4.0 για Κυβερνο-Φυσικά Συστήματα, οι εφαρμογές βασίζονται σε κινητούς ρομποτικές συσκευές που εκτελούν πολλές σύνθετες εργασίες που έχουν αυστηρές απαιτήσεις ασφάλειας και χρόνου. Σε ένα τέτοιο περιβάλλον, το μοντέλο παροχής υπηρεσιών Υπολογισμών Πολλαπλής Πρόσβασης στα Άκρα, επιτρέπει στις ρομποτικές συσκευές να μεταφορτώνουν τις υπολογιστικά βαριές διεργασίες τους. Συγκεκριμένα, σχεδιάζονται πρακτικές στρατηγικές μεταφόρτωσης για εφαρμογές σχεδιασμού διαδρομής και εντοπισμού θέσεις των ρομπότ. Η απόφαση μεταφόρτωσης βασίζεται στην αβεβαιότητα της θέσης του ρομπότ, στη διαθεσιμότητα πόρων του διακομιστή των πόρων, στην ποιότητα της σύνδεσης δικτύου και στη δυσκολία της υπολογισμένης διαδρομής. Παρομοίως, εστιάζοντας στις εγγυήσεις σταθερότητας και στη σύγκλιση του συστήματος, εισάγουμε ένα πλαίσιο μεταφόρτωσης εκτίμησης θέσης βάσει συνόλου, για τη συγκεκριμένη περίπτωση πλοήγησης μονόκυκλου ρομπότ προς μια θέση. Το ρομπότ υπόκειται σε αβεβαιότητες μοντελοποίησης και μέτρησης και το σύνολο εκτίμησης υπολογίζεται χρησιμοποιώντας τεχνικές υπερπροσέγγισης που μετριάζουν τους πρόσθετους υπολογισμούς. Ένας μηχανισμός ελέγχου που βασίζεται σε σετ μεταγωγής παρέχει ακριβή πλοήγηση και ενεργοποιεί πιο ακριβείς αλγόριθμους εκτίμησης όταν χρειάζεται. Για να εξασφαλιστεί η σύγκλιση του συστήματος και να βελτιστοποιηθεί η χρήση απομακρυσμένων πόρων, έχει σχεδιαστεί ένας μηχανισμός μεταφόρτωσης, ο οποίος λαμβάνει υπόψη τόσο τις δυναμικές συνθήκες δικτύου όσο και τους διαθέσιμους υπολογιστικούς πόρους στην άκρη του δικτύου. Τέλος, μελετάμε τον προγραμματισμό πολλών αιτημάτων για αναγνώριση εικόνας σε πραγματικό χρόνο με βοήθεια στα άκρα του δικτύου. Η ποιότητα της αναγνώρισης εικόνας και η συνολική καθυστέρηση του συστήματος είναι προφανώς ανταγωνιστικές μετρήσεις. Έτσι, διαμορφώνουμε ένα κοινό πρόβλημα βελτιστοποίησης για να μεγιστοποιήσουμε την ποιότητα της διαδικασίας αναγνώρισης, ελαχιστοποιώντας ταυτόχρονα τη συνολική καθυστέρηση για τη μαζική επεξεργασία των αιτημάτων χρησιμοποιώντας πόρους πυο βασίζονται σε κάρτες γραφικών. Για να αντιμετωπίσουμε την υπολογιστική πολυπλοκότητα του προβλήματος βελτιστοποίησης, υπολογίζουμε πρώτα τις βέλτιστες πολιτικές συμπίεσης για τα αιτήματα που στέλνουν οι χρήστες για να ελαχιστοποιήσουμε τον χρόνο μετάδοσης. Εξετάζοντας προσεκτικά τα αποτελέσματα του προβλήματος συμπίεσης, συμπαιρένουμε ότι η συμπίεση των εργασιών με τέτοιο τρόπο ώστε να φτάνουν ταυτόχρονα για απομακρυσμένη επεξεργασία αυξάνει σημαντικά την απόδοση της ταύτοχρονης επεξεργασίας από τη μεριά των απομακρυσμένων πόρων. Συνοψίζοντας, σε αυτή τη διατριβή, μελετάμε το πρόβλημα της δυναμικής ενορχήστρωσης και διαχείρισης των Κυβερνοφυσικών Συστημάτων. Η τεράστια πρόοδος των σύγχρονων εφαρμογών μαζί με τις αυστηρές απαιτήσεις για συνεχώς διευρυνόμενους πόρους απαιτούν νέες εξελιγμένες προσεγγίσεις για παροχής υψηλού ποιότητα υπηρεσιών και ποιότητα εμπειρίας στους χρήστες. Αν και πολλές νέες αρχιτεκτονικές έχουν προκύψει τα τελευταία χρόνια, υπάρχουν ακόμα πολλές προκλήσεις που πρέπει να αντιμετωπιστούν για την παροχή απρόσκοπτων λειτουργιών και εκτέλεσης των πολύπλοκων αλγορίθμων που μπορεί να έχει ένα Κυβερνοφυσικό Σύστημα. Οι δύο κύριες προκλήσεις είναι οι στρατηγικές μεταφόρτωσης εργασιών και οι συνοδευτικοί μηχανισμοί διαχείρισης πόρων.