Comprehensive formalization and modeling of the network and system virtualization process

Abstract

The virtualization concept has been of interest to the academic community and IT business sector for more than forty years, providing a different approach to the realization, administration and provision of physical resources. A paradigm is introduced by which the end user is not aware of the details of the underlying physical infrastructure. This approach has been warmly adopted in many fields of computing, including computer networks. The Internet – being the prime example of a large scale and complex network instantiation – has been the driving force behind the adoption of network virtualization as one of the key technologies in the field. In a parallel development, the convergence of communications and computing – two, previously, distinct worlds – has introduced the use of computing servers acting as active network elements (e.g., routers). The core networking support in these Virtual Network Environments (VNEs) is based on the IEEE 802.1Q VLAN implementation, where virtual network segments are established on top of physical switches – the latter being provided by the server’s hardware features. A thin software layer - the hypervisor - works as a virtual Ethernet switch, supporting queues for each VLAN in the system’s memory. Consequently, the network’s last-hop switch has been shifted from a dedicated active network element to become a characteristic of the hypervisor or of the physical server’s hardware. The aforementioned facts, along with the application of new technologies that lead to demand for novel services (wireless/mobile networking, Cloud computing, Networking As A Service, etc.) have considerably increased the complexity of VNEs. Cisco Systems projects that thirty seven billion intelligent devices (including smart fabrics and pills) will connect to the Internet by 2020 – dramatically increasing the traffic load and operational complexity of the “The Internet of Everything”. Efficient management of these architectures presumes the application of suitable information models. The latter provide the required standardization of abstraction of VNE elements and facilitate the construction and deployment of management methods. Despite the availability and benefits of several existing solutions, there are very few proposals that address the problem and the details of the introduction of computing servers in the network architecture, and of the hypervisor as a manageable entity, in particular. Moreover, existing solutions do not treat the hypervisor as a whole entity; rather they only, indirectly, reference its involvement via abstractions of hosted virtual machine operations. This results in impediments in managing modern VNEs; thus, in assuring the quality of the offered service on an end-to-end basis.In this dissertation we propose an information model that can conceptually abstract and describe physical or logical infrastructure elements participating in hypervisor host-based virtual network environments. In summary, the contribution of this dissertation is multifold: we initially provide a detailed review of existing modeling approaches employed in managing both VNEs as a whole, as well as autonomous system and networking components involved. We expose their pros and cons in a comparative review of the examined models and mechanisms using a conceptual categorization. We, then, describe our proposed solution: an information model that fits well within the context of a highly virtualized, host-based VNE, as those met in modern Cloud datacenters; then we apply a verification method for the validation of our approach. In particular, we draw upon one of the most important issues in Cloud environments – that of efficient resources allocation – and extend our model in order to include appropriate control logic and methods based on Statistical Process Control for managing hypervisor provisioned resources to a networking architecture. We test and validate our proposal extensively against actual VNE implementations. The verification provides a successful proof-of-concept of our proposed technique. Our proposed information model facilitates managing a VNE’s element, be that a networking, computing system or other hypervisor-provisioned resource. The management application does neither need to be aware of the specifics of the underlying virtualization platform, nor to understand it.

Η έννοια της εικονικοποίησης έχει απασχολήσει σημαντικά, τα τελευταία σαράντα χρόνια, τόσο την ακαδημαϊκή κοινότητα όσο και τον κλάδο της Πληροφορικής, παρέχοντας μία διαφορετικά προσέγγιση στην υλοποίηση, διαχείριση καθώς και διάθεση των φυσικών πόρων. Μέσω της εικονικοποίησης εφαρμόζεται μία προσέγγιση όπου ο τελικός χρήστης δεν αντιλαμβάνεται τις λεπτομέρειες της υποκείμενης φυσικής υποδομής. Αυτή η προσέγγιση υιοθετήθηκε από πολλούς κλάδους της Πληροφορικής, συμπεριλαμβανομένων και των Δικτύων Ηλεκτρονικών Υπολογιστών. Το Διαδίκτυο έχει γνωρίσει τα τελευταία χρόνια τεράστια ανάπτυξη, τόσο ποσοτική (αριθμός συνδέσεων και χρηστών) όσο και ποιοτική (προσφερόμενες υπηρεσίες, αποδοχή από το κοινό, διείσδυση στο πληθυσμό) και αποτελεί το κύριο παράδειγμα υλοποίησης δικτύου μεγάλης κλίμακας. Το Διαδίκτυο έχει αποτελέσει την κινητήρια δύναμη για την αποδοχή και εφαρμογή της τεχνολογίας εικονικοποίησης δικτύου ως μίας εκ των κύριων εμπλεκόμενων τεχνολογιών. Σε μία παράλληλη εξέλιξη, η σύγκλιση των πεδίων των δικτύων ηλεκτρονικών υπολογιστών και των εφαρμογών Πληροφορικής (πεδία τα οποία παλαιότερα ήταν διακριτά) εισήγαγε τη χρήση διακομιστών ως ενεργών στοιχείων του δικτύου (π.χ. δρομολογητές). Η κύρια δικτυακή υποστήριξη σε αυτά τα Περιβάλλοντα Εικονικού Δικτύου (ΠΕΔ) βασίζεται στην εφαρμογή του προτύπου IEEE 802.1Q VLAN, όπου μέρη του δικτύου υλοποιούνται με τη χρήση φυσικών μεταγωγέων – οι τελευταίοι παρέχονται μέσω διακομιστών. Εξειδικευμένο λογισμικό (ο Επόπτης) λειτουργεί ως εικονικός μεταγωγέας Ethernet και υποστηρίζει τα απαραίτητα VLAN μέσω της φυσικής μνήμης του διακομιστή. Ως αποτέλεσμα, το τελευταίο σημείο του δικτύου έχει μετατοπιστεί από τις αποκλειστικές δικτυακές συσκευές και αποτελεί πλέον χαρακτηριστικό του υλικού του φυσικού διακομιστή. Τα παραπάνω γεγονότα, σε συνδυασμό με την εφαρμογή νέων τεχνολογιών, οι οποίες οδηγούν σε απαίτηση καινοτόμων εφαρμογών (ασύρματη καθώς και εν-κινήσει δικτύωση, νεφο-υπολογιστική, δικτύωση ως υπηρεσία κ.α.), έχουν αυξήσει σημαντικά την πολυπλοκότητα των ΠΕΔ.Η αποτελεσματική και αποδοτική διαχείριση τέτοιων αρχιτεκτονικών και υποδομών προϋποθέτει την εφαρμογή κατάλληλων πληροφοριακών μοντέλων. Αυτά παρέχουν την απαιτούμενη τυποποίηση και αφαίρεση των συστατικών μερών και χαρακτηριστικών των ΠΕΔ, και επιτρέπουν τη δημιουργία και διάθεση κατάλληλων μεθόδων διαχείρισης. Παρόλη τη διαθεσιμότητα καθώς και τα πλεονεκτήματα των διαφόρων υφιστάμενων λύσεων, ελάχιστες προτάσεις αντιμετωπίζουν το πρόβλημα και τα χαρακτηριστικά της εισαγωγής διακομιστών στις αρχιτεκτονικές δικτύου, καθώς και του Επόπτη ως μία υπό-διαχείριση οντότητα. Επιπλέον, οι υφιστάμενες λύσεις δεν αντιμετωπίζουν τον Επόπτη διακριτά ως ενιαία οντότητα αλλά μόνο έμμεσα, μέσω αφαιρέσεων της χρήσης του σε λειτουργίες εικονικών μηχανών. Αυτό έχει οδηγήσει σε εμπόδια στη διαχείριση των μοντέρνων ΠΕΔ, άρα και στη διασφάλιση της συνολικά προσφερόμενης υπηρεσίας.Σε αυτή τη διδακτορική διατριβή παρουσιάζουμε ένα νέο πληροφοριακό μοντέλο το οποίο μπορεί εννοιολογικά να περιγράψει φυσικά ή λογικά στοιχεία υποδομών ΠΕΔ που βασίζονται σε Επόπτες. Περιληπτικά, η συνεισφορά της διατριβής είναι πολυδιάστατη: αρχικά παρουσιάζουμε μία αναλυτική επισκόπηση καθώς και συγκριτική μελέτη των υφιστάμενων προτάσεων/λύσεων στο πεδίο. Παρουσιάζουμε τα πλεονεκτήματα και μειονεκτήματα κάθε πρότασης και παραθέτουμε τη συνολική κατηγοριοποίηση των προτάσεων. Στη συνέχεια, παρουσιάζουμε την καινοτόμο πρότασή μας: ένα νέο πληροφοριακό μοντέλο που εντάσσεται άψογα στη λογική και στα χαρακτηριστικά των ΠΕΔ, όπως αυτά συναντώνται σήμερα στα μοντέρνα μηχανογραφικά κέντρα νεφο-υπολογιστικής. Έπειτα εφαρμόζουμε μία μέθοδο διακρίβωσης της καταλληλότητας του νέο-παραχθέντος πληροφοριακού μοντέλου ώστε να διαπιστώσουμε την επάρκεια της πρότασής μας. Συγκεκριμένα, επιλέξαμε ένα εκ των βασικών προβλημάτων στο πεδίο της νεφο-υπολογιστικής, αυτό της δυναμικής διάθεσης πόρων, και επεκτείναμε το μοντέλο ώστε να συμπεριλάβει μεθόδους Στατιστικού Ελέγχου Διεργασίας, προκειμένου για τη δυναμική διαχείριση των πόρων που παρέχονται από τον Επόπτη προς εξυπηρέτηση της δικτυακής υποδομής. Τέλος, δοκιμάζουμε και ελέγχουμε διεξοδικά την πρότασή μας εφαρμόζοντάς τη σε πραγματική υποδομή ΠΕΔ. Αυτή η διαδικασία διακρίβωσης παρείχε μία επιτυχημένη μελέτη εφαρμογής της πρότασης. Το προτεινόμενο πληροφοριακό μοντέλο επιτρέπει την περιγραφή των συστατικών μερών και πόρων του ΠΕΔ (ανεξαρτήτως είδους: δικτύου, διακομιστή κ.α.) και, συνεπώς, τη δημιουργία λύσεων διαχείρισης αυτών. Οι όποιες εφαρμογές διαχείρισης δεν αντιλαμβάνονται, ούτε αυτό απαιτείται, το υποκείμενο επίπεδο εικονικοποίησης καθώς και τα χαρακτηριστικά αυτού.