Trust-aware life-cycle management of federated edge clouds

Abstract

In the 5G and IoT era, service delivery and management models become more and more complex, by combining a wide variety of technologies and devices. The complexity of the new service delivery models raises new challenges for the fulfilment and management of the service life-cycle, from service discovery and selection, to orchestration, management and monitoring. In addition, in such context, where unknown users, devices and providers need to interact to achieve service fulfillment, it is critical to provide a sense of trust between users. The motivation for this dissertation is to tackle the new challenges arising in the service life-cycle management and enable trust in such scenarios. In the first part of this dissertation, our main focus is to assess services over heterogeneous resources, considering Quality of Service (QoS) and Quality of Experience (QoE) by combining monitoring data, the subjective perception of various users and their unique requirements. To achieve this, we aim to quantify the service assessment with the above criteria, as a reputation score value, that represents the performance and reliability of the service in a fair manner, while guaranteeing protection from malicious actors trying to manipulate it. This value can enable trust towards service providers while assisting users in the service selection process taking into account their unique priorities. To achieve the aforementioned goals, we developed collaborative Service Level Agreements (SLA) and Reputation Trust Management (RTM) frameworks with focus on cloud federations. Cloud Federation is the deployment, management and collaboration of several cloud computing services. It can integrate private, community, and public clouds providing multiple benefits such as scalability, fault tolerance and elasticity to the cloud environment while raising new challenges, namely interoperability issues of heterogeneous clouds and lack of trust among different providers. In this environment, we use SLA, in order to allow users to enforce guarantees about the performance of consumed services. We extend Key Performance Indicators (KPIs) assessed by the SLAs to surpass the limited availability KPI provided by most cloud and service providers at the moment, towards better addressing the specific requirements of each user.Furthermore, for the RTM aspect of our collaborative framework, we focus on Multi-Criteria Decision Making (MCDM) techniques for the quantification of trust and the computation of the reputation values. We adopt MCDM methodologies due to their capability of receiving as input multiple KPIs combining QoS and QoE metrics. In our research work, we modified and extended two known scalable fuzzy-based MCDM techniques, namely Fuzzy VIKOR and Fuzzy Analytic Hierarchical Process (AHP). The first one is horizontal while the latter one is a hierarchical MCDM system. The key contributions of our extensions in those systems mainly refer to their capability of facilitating inputs, not only limited to fuzzy numbers, but also to include linguistic and binary values. In this way, we can combine a wide variety of QoS and QoE aspects in the computation of the reputation score value, guaranteeing that a high reputation value represents wholesomely the provider's performance and reliability. We also modified those techniques to allow users to provide custom weights in the evaluation process to express different requirements.Last but not least, we introduce in both approaches credibility mechanisms that compare the user's evaluation with SLA and monitoring measurements in order to detect malicious actors and protect providers from reputation score manipulation attempts.The implementation and experimental validation and assessment of our novel solutions validated the effectiveness of our SLA techniques and the performance of our proposed RTM solutions. In particular, in comparison with other known frameworks in the literature, our proposed approaches highlighted the importance of mixing several numerical and fuzzy metrics, in contrast to adopting numeric only input, as well as the necessity and effectiveness of our introduced credibility mechanisms.On the second part of the thesis, we address challenges in the service life-cycle management. Our main focus is to facilitate the life-cycle management of services in a multi-domain federated Edge Cloud environment and enable tenants to either offer services for off-the-shelf leasing or lease a service that suits their needs. Federated edge clouds in the scope of this dissertation, refer to multi-administrative collaboration of multiple providers willing to allow cross-domain communication to allow off-the-self leasing of services developed by either providers or tenants through an Network Service Marketplace (NSM). In order to fulfill the above objectives, we shift from trust management frameworks to trustless systems to assist the life-cycle management of services in this context. We use blockchain as our trustless system, as it enables parties without trust between them, to interact without a central trusted authority, communicating in a decentralized fashion, maintaining the same functionality, while all parties can retain the certainty for the outcome of the transactions. We used blockchain technology to develop a fully functional NSM for off-the-self service leasing. We utilize blockchain's distributed ledger as a distributed database between different providers and edge clouds, and we leverage smart contracts to enable the platform and the transactions. Using smart contracts we developed all the necessary interactions and transactions required in an NSM facilitating all steps in a service's life-cycle such as service discovery, selection, leasing, billing and most importantly resource orchestration. We provide a multi-domain architecture aligned with the ETSI-NFV standards, which is highly scalable and requires minimum resource and management and development overheads for new Edge Cloud providers.Furthermore, in order to fulfill the consumption of a leased service in the NSM we developed a novel Cross-Service Communication (CSC) orchestrator over Network Function Virtualization (NFV) reference architecture. Our orchestrator, assisted with the minimum information required for the operation by our blockchain-based NSM, offers the necessary abstractions and operations for an automated and seamless CSC orchestration. The data stored in the blockchain are the minimum required and contain mostly tags guaranteeing both data efficiency and data privacy regarding the services offered. The implementation and evaluation of our NSM and orchestrator validated that our proposed solution is highly scalable, and the orchestration time overheads added from blockchain, API and orchestrator interactions are negligible. In addition, the Cross-Communication orchestration requires no extra resources, while other proposals in the literature require intermediary services to function.Finally, we summarize the conclusions of our thesis and offer interesting ideas for future development and enrichment of our work, along with significant synergies that can occur between the different solutions presented in this dissertation.

Στην εποχή των δικτύων πέμπτης γενιάς (5G) και του Διαδικτύου των Αντικειμένων (ΔτΑ - Internet of Things), τα μοντέλα παροχής και διαχείρισης υπηρεσιών γίνονται όλο και πιο σύνθετα, με το συνδυασμό μιας ευρείας γκάμας από τεχνολογίες και συσκευές. H πολυσυνθετότητα των νέων μοντέλων παροχής υπηρεσιών εγείρει νέες προκλήσεις σχετικά με την εκπλήρωση και τη διαχείριση του κύκλου ζωής μιας υπηρεσίας, από την ανακάλυψη και την επιλογή μιας υπηρεσίας, μέχρι την ενορχήστρωση, τη διαχείριση και την παρακολούθηση της. Επιπρόσθετα, σε ένα τέτοιο πλαίσιο, όπου άγνωστοι μεταξύ τους, χρήστες, συσκευές και πάροχοι απαιτείται να αλληλεπιδρούν για την εκπλήρωση μιας υπηρεσίας, είναι κρίσιμο να παρέχεται μια αίσθηση εμπιστοσύνης στους χρήστες. Κινητήριος δύναμη για την παρούσα διατριβή είναι η αντιμετώπιση των νέων προκλήσεων που εγείρονται στη διαχείριση του κύκλου ζωής υπηρεσιών και η παροχή εμπιστοσύνης.Στο πρώτο μέρος της παρούσας διατριβής, το επίκεντρο της προσοχή μας εστιάζεται η αξιολόγηση της επίδοσης υπηρεσιών οι οποίες αναπτύσσονται με τη χρήση ετερογενών υποδομών, λαμβάνοντας υπ' όψιν τη Ποιότητα της Υπηρεσίας (ΠτΥ - Quality of Service) και την Ποιότητα της Εμπειρίας (ΠτΕ - Quality of Experience), συνδυάζοντας δεδομένα παρακολούθησης, την υποκειμενική αντίληψη των χρηστών και τις μοναδικές απαιτήσεις τους. Για την επίτευξη αυτού του στόχου, στοχεύουμε να ποσοτικοποιήσουμε την αξιολόγηση της επίδοσης των υπηρεσιών με τα παραπάνω κριτήρια, ως μια τιμή φήμης, η οποία αντιπροσωπεύει τις επιδόσεις και την αξιοπιστία μια υπηρεσίας με δίκαιο τρόπο, με την παράλληλη εγγύηση προστασίας από κακόβουλες οντότητες που επιχειρούν να την τροποποιήσουν προς ιδίων όφελος.Για την επίτευξη των προαναφερθέντων στόχων, αναπτύξαμε συνεργατικά πλαίσια Συμφωνίας σε Επίπεδο Υπηρεσιών (Service Level Agreement - SLA) και Διαχείρισης της Εμπιστοσύνης με βάση τη φήμη (Reputation Trust Management - RTM) με κύρια μέριμνα τα ομόσπονδα νέφη. Η ομοσπονδία νέφους είναι η ανάπτυξη, διαχείριση και συνεργασία πολλαπλών υπηρεσιών υπολογιστικού νέφους. Η ομοσπονδία νέφους μπορεί να ενσωματώνει ιδιωτικά (private), κοινοτικά (community) και δημόσια (public) νέφη παρέχοντας πολλά οφέλη όπως κλιμακωσιμότητα, ανοχή στα σφάλματα (fault tolerance) και ελαστικότητα στο περιβάλλον νέφους. Παράλληλα όμως, προκύπτουν νέες προκλήσεις όπως η δια-λειτουργικότητα μεταξύ των ετερογενών νεφών και η έλλειψη εμπιστοσύνης μεταξύ των διαφορετικών παρόχων. Σε αυτό το περιβάλλον, χρησιμοποιούμε SLA ώστε να επιτρέψουμε στους χρήστες να εξασφαλίσουν εγγυήσεις για τις επιδόσεις των υπηρεσιών που καταναλώνουν. Επεκτείνουμε τους καίριους δείκτες απόδοσης (Key Performance Indicators - KPIs) που αξιολογούνται από SLA για να ξεπεράσουμε το πολύ περιορισμένο KPI της διαθεσιμότητας (availability) υπηρεσίας που προσφέρουν οι περισσότεροι πάροχοι υπηρεσιών νέφους, ώστε να μπορούν να εκφραστούν οι μοναδικές απαιτήσεις κάθε ξεχωριστού χρήστη. Επιπρόσθετα, για το κομμάτι της διαχείρισης εμπιστοσύνης με βάση τη φήμη των συνεργατικών μας πλαισίων, εστιάζουμε σε πολυ-κριτιριακές τεχνικές λήψης αποφάσεων (Multi-Criteria Decision Making - MCDM) για την ποσοτικοποίηση της εμπιστοσύνης και τον υπολογισμό της αντίστοιχης τιμής φήμης. Υιοθετούμε τέτοιες τεχνικές λόγω της ικανότητας τους να δέχονται ως είσοδο πολλαπλά KPIs συνδυάζοντας μετρικές που αντιπροσωπεύουν τόσο την ΠτΥ όσο και την ΠτΕ του χρήστη. Στην ερευνητική μας δουλειά, τροποποιήσαμε και επεκτείναμε δυο γνωστές MCDM τεχνικές που βασίζονται σε ασαφή λογική (Fuzzy Logic), την Fuzzy VIKOR και την Fuzzy Analytic Hierarchical Proccess (AHP). Η πρώτη είναι οριζόντιας δομής ενώ η δεύτερη ιεραρχικής δομής. Οι κύριες συνεισφορές των επεκτάσεων μας στις παραπάνω τεχνικές είναι η διεύρυνση των τύπων δεδομένων που δέχονται ως είσοδο ώστε να μη περιορίζεται σε ασαφής αριθμούς αλλά να περιλαμβάνει και γλωσσικές και δυαδικές τιμές. Με αυτόν τον τρόπο μπορούμε να συνδυάζουμε ένα μεγάλο εύρος κριτηρίων της ΠτΥ και της ΠτΕ στη διαδικασία παραγωγής της τιμής εμπιστοσύνης και να εγγυηθούμε ότι η υψηλή τιμή φήμης αναπαριστά αντικειμενικά την ποιότητα και αξιοπιστία ενός παρόχου. Επιπλέον, τροποποιήσαμε τις τεχνικές αυτές ώστε να επιτρέψουμε στους χρήστες να προσαρμόζουν τα βάρη κάθε κριτηρίου που συμμετέχει στην διαδικασία αξιολόγησης ώστε να μπορούν να εκφράσουν με αυτόν το τρόπο τις μοναδικές τους διαφορετικές απαιτήσεις.Τέλος, και στις δύο τεχνικές, εισάγουμε μηχανισμούς αξιοπιστίας που αναπτύξαμε και συγκρίνουν τις αξιολογήσεις των χρηστών με δεδομένα SLA και δεδομένων παρακολούθησης προκειμένου να εντοπιστούν κακόβουλες οντότητες και να προστατευτούν οι πάροχοι από απόπειρες χειραγώγησης της τιμής εμπιστοσύνης τους.Η υλοποίηση και πειραματική επικύρωση και αξιολόγηση των προτάσεων μας, επικύρωσαν την αποτελεσματικότητα των τεχνικών SLA και τις επιδόσεις των προτεινόμενων λύσεων μας για τη διαχείριση της εμπιστοσύνης με βάση τη φήμη. Πιο συγκεκριμένα, η σύγκριση με γνωστές λύσεις από τη βιβλιογραφία ανέδειξε τη σημασία του μείγματος διαφόρων αριθμητικών και ασαφών δεδομένων, σε σύγκριση με το περιορισμό μονάχα σε αριθμητικές εισόδους. Επίσης αναδείχθηκε η αναγκαιότητα και αποτελεσματικότητα των μηχανισμών αξιοπιστίας. Στο δεύτερο μέρος της διατριβής μας, συνεχίζουμε την ενασχόληση μας με τις προκλήσεις στη διαχείριση του κύκλου ζωής. Σε αυτό το σημείο εστιάζουμε στη διαχείριση του κύκλου ζωής υπηρεσιών σε ομόσπονδα νέφη στις παρυφές του δικτύου (federated edge clouds) και στο να προσφέρουμε σε χρήστες υπολογιστικών κέντρων νέφους παρυφών τη δυνατότητα, είτε να προσφέρουν τις υπηρεσίες που έχουν αναπτύξει προς μίσθωση είτε να μισθώσουν κάποια που εξυπηρετεί τις ανάγκες τους. Ως ομόσπονδα νέφη παρυφών, στο πλαίσιο αυτής της διατριβής, ορίζουμε την πολύ-διαχειριστική (multi-administrative) συνεργασία πολλαπλών παρόχων οι οποίοι είναι πρόθυμοι να επιτρέψουν την επικοινωνία μεταξύ διαφορετικών διαχειριστικών τομέων (administrative domains), ώστε να γίνει δυνατή η προσφορά για μίσθωση η κατανάλωση μιας υπηρεσίας μεταξύ αυτών μέσα μιας αγοράς δικτυακών υπηρεσιών (Network Service Marketplace - NSM). Για την επίτευξη των στόχων αυτών, μετακινούμαστε από συστήματα διαχείρισης της φήμης σε συστήματα χωρίς εμπιστοσύνη (trustless systems), για την εξυπηρέτηση του κύκλου ζωής υπηρεσιών. Χρησιμοποιούμε Αλυσίδα Επιβεβαιωμένων Συναλλαγών (ΑΕΣ - Blockchain) ως σύστημα χωρίς εμπιστοσύνη, διότι επιτρέπει σε οντότητες χωρίς εμπιστοσύνη μεταξύ τους, να αλληλεπιδρούν χωρίς τη διαμεσολάβηση κάποιας έμπιστης κεντρικής αρχής. Αντίθετα η επικοινωνία είναι αποκεντρωμένη, διατηρώντας όλες τις λειτουργίες που θα εξυπηρετούσε μια κεντρική αρχή και διατηρώντας παράλληλα την εμπιστοσύνη στην ορθότητα των συναλλαγών και τα αποτελέσματα τους. Χρησιμοποιήσαμε ΑΕΣ για την ανάπτυξη μιας πλήρως λειτουργικής αγοράς δικτυακών υπηρεσιών. Χρησιμοποιήσαμε το κατανεμημένο κατάστιχο (distributed ledger) ως μια κατανεμημένη βάση δεδομένων μεταξύ των διαφορετικών παρόχων και υπολογιστικών κέντρων νέφους παρυφών και αξιοποιήσαμε τα έξυπνα συμβόλαια για την ανάπτυξη της αγοράς και τη διαχείριση των απαραίτητων συναλλαγών. Με την χρήση έξυπνων συμβολαίων αναπτύχθηκαν όλες οι απαραίτητες αλληλεπιδράσεις και συναλλαγές που απαιτούνται σε μια αγορά δικτυακών υπηρεσιών, εξυπηρετώντας κάθε βήμα στο κύκλο ζωής μιας υπηρεσίας, όπως η ανακάλυψη, η επιλογή, η μίσθωση, η χρέωση και το κυριότερο, η ενορχήστρωση της επικοινωνίας μεταξύ υπηρεσιών. Η λύση μας παρέχει μία πολύ-τομεακή αρχιτεκτονική η οποία είναι σύμφωνη με το πρότυπο ETSI-NFV, η οποία έχει πολύ καλή κλιμακωσιμότητα και απαιτεί ελάχιστους πόρους και επιπρόσθετη διαχείριση από νέους παρόχους παρυφών νέφους. Ακόμη, προκειμένου να επιτευχθεί η κατανάλωση μιας μισθωμένης υπηρεσίας στην αγορά, αναπτύξαμε ένα πρωτότυπο ενορχηστρωτή της επικοινωνίας μεταξύ δικτυακών υπηρεσιών (Cross-Service Communication - CSC) για περιβάλλοντα και αρχιτεκτονικές εικονικοποίησης δικτυακών λειτουργιών (Network Function Virtualization - NFV). Ο ενορχηστρωτής μας, λαμβάνοντας την ελάχιστη απαραίτητη πληροφορία από την βασισμένη σε ΑΕΣ αγορά μας, πραγματοποιεί όλες τις απαραίτητες ενέργειες για την αυτόματη ενορχήστρωση της επικοινωνίας μεταξύ δικτυακών υπηρεσιών. Τα δεδομένα που αποθηκεύονται στην ΑΕΣ είναι τα ελάχιστα απαραίτητα και περιλαμβάνουν κατά βάση ετικέτες. Με αυτόν τον τρόπο εξασφαλίζεται τόσο η αποδοτικότητα των δεδομένων όσο και η ιδιωτικώτητα των δεδομένων σχετικά με τις προσφερόμενες υπηρεσίες.Η υλοποίηση και αξιολόγηση της αγοράς δικτυακών υπηρεσιών και του ενορχηστρωτή μας επιβεβαίωσαν ότι η προτεινόμενη λύση είναι κλιμακώσιμη και ότι οι χρονικές καθυστερήσεις που προσθέτει ο ενορχηστρωτής μας και η επικοινωνία μεταξύ της ΑΕΣ και του ενορχηστρωτή κρίνονται αμελητέες. Επιπλέον, η ενορχήστρωση της επικοινωνίας μεταξύ δικτυακών υπηρεσιών δεν απαιτεί επιπλέον πόρους ενώ παράλληλα άλλες προτάσεις στη βιβλιογραφία απαιτούν ενδιάμεσες δικτυακές υπηρεσίες που διαμεσολαβούν αυτήν την επικοινωνία και απαιτούν επιπρόσθετους πόρους.Τέλος, συνοψίζουμε τα συμπεράσματα της διατριβής μας και προσφέρουμε μερικές ενδιαφέρουσες ιδέες για μελλοντική ανάπτυξη και εμπλουτισμό της δουλειάς μας καθώς και σημαντικές συνέργειες που μπορούν να προκύψουν μεταξύ των προτάσεων που παρουσιάσαμε σε αυτήν τη διατριβή.