AI-driven resource and service management in the cloud-edge computing continuum, with emphasis on resource optimization and quality of experience

Abstract

Edge computing has emerged as a promising solution for delivering services that demand low latency, high bandwidth, and stringent privacy requirements across numerous data- and compute-intensive applications. A major challenge in the edge computing paradigm is service placement, where the objective is to dynamically select edge nodes for deploying and executing services, thereby improving application Quality-of-Service (QoS) and maximizing resource utilization. Nevertheless, the heterogeneous nature of edge computing resources, diverse application requirements, limited computational resource capacity, stringent user demands, and the overall dynamically changing conditions of the ecosystem constitute a multi-objective optimization problem, resulting in the need for adaptive optimization techniques. On the other hand, Artificial Intelligence (AI) has emerged as a revolutionary paradigm, exploiting data to learn hidden patterns and complex relationships, producing recommendations and predictions for the future behavior of the domain to which it is applied. This thesis investigates the dynamic service placement problem in edge-cloud continuum applications, considering the heterogeneity of the edge system, limited computing resources, and user satisfaction levels, with the goal of dynamically providing optimal placement schemes for services running across the edge-cloud continuum. Two main approaches are introduced: service placement considering the service itself, and service placement considering the edge resources. The first method is an AI-based approach that leverages historical telemetry data derived from services deployed in the edge ecosystem under the serverless paradigm, recommendingtheoptimal chain of functions-as-a-service to minimize service response time. The second method presents a decentralized, AI-driven three-tier solution comprising three complementary learning-based techniques — Incremental Learning (IL), Federated Learning (FL), and Reinforcement Learning (RL) — that collectively consider edge resources and diverse, dynamic user demands to place services in a manner that balances the trade-off between computational capacity and user satisfaction. The results demonstrate that both methods can effectively determine optimal service placement schemes in a dynamic manner, achieving significant improvements in resource utilization, service response time, and user Quality-ofExperience (QoE) compared to baseline standalone approaches, while maintaining adaptability under varying workload conditions and heterogeneous infrastructure configurations. This thesis also provides potential directions for future research that could build upon the findings of the current thesis.

Η παρούσα διδακτορική διατριβή διερευνά το πρόβλημα της δυναμικής κατανομής υπηρεσιών σε ακροδικτυακές-νεφοϋπολογιστικές υποδομές (Edge Computing service placement), λαμβάνοντας υπόψη την ετερογένεια του συστήματος, τους περιορισμένους υπολογιστικούς πόρους και τον βαθμό ικανοποίησης χρηστών, με στόχο την παροχή βέλτιστων σχημάτων τοποθέτησης υπηρεσιών σε δυναμικό περιβάλλον. Στην παρούσα διατριβή εισάγονται δύο προσεγγίσεις βασισμένες στη Τεχνητή Νοημοσύνη: (α) κατανομή υπηρεσιών προσεγγίζοντας την ίδια την υπηρεσία και (β) κατανομή υπηρεσιών προσεγγίζοντας τους ακροδικτυακούς πόρους. Η πρώτη μέθοδος αποτελεί μια προσέγγιση που αξιοποιεί ιστορικά δεδομένα φόρτου εργασίας της υποδομής από υπηρεσίες αναπτυγμένες στο ακροδικτυακό οικοσύστημα με χρήση του μοντέλου ¨χωρίς-διακομιστή¨ (serverless), προτείνοντας το καλύτερο συνδυασμό συνόλων ¨λειτουργίας-ως-υπηρεσία¨ (functions-as-a-service) με σκοπό την ελαχιστοποίηση του χρόνου απόκρισης ως προς την απάντηση του τελικού χρήστη. Η δεύτερη μέθοδος παρουσιάζει μια ολοκληρωμένη αποκεντρωμένη, τριών επιπέδων λύση, που συνδυάζει τρεις τεχνικές μάθησης — αυξητική μάθηση (Incremental Learning), Ομοσπονδιακή Μάθηση (Federated Learning) και Ενισχυτική Μάθηση (Reinforcement Learning) — οι οποίες λαμβάνουν υπόψη τους ακροδικτυακούς πόρους και τις ποικίλες, δυναμικές απαιτήσεις χρηστών, τοποθετώντας τις ακροδικτυακές υπηρεσίες με τρόπο που εξισορροπεί τους περιορισμένους υπολογιστικούς πόρους της ακροδικτυακής υποδομης και την ικανοποίηση των χρηστών ως προς την απόκριση. Τα αποτελέσματα δείχνουν ότι και οι δύο μέθοδοι μπορούν αποτελεσματικά να προσδιορίσουν βέλτιστα σχήματα κατανομής υπηρεσιών με δυναμικό τρόπο, επιτυγχάνοντας σημαντικές βελτιώσεις στην αξιοποίηση πόρων, τον χρόνο απόκρισης υπηρεσιών και την Ποιότητα Εμπειρίας των χρηστών σε σχέση με μεμονωμένες προσεγγίσεις, διατηρώντας παράλληλα προσαρμοστικότητα υπό μεταβαλλόμενες συνθήκες φόρτου εργασίας και ετερογενείς υποδομές. Η διατριβή παρέχει επίσης κατευθύνσεις για μελλοντική έρευνα που ϑα μπορούσε να οικοδομηθεί πάνω στα ευρήματα της παρούσας εργασίας.