Design and experimental study of heterogeneous disaggregated 5G mobile wireless networks

Abstract

The fifth generation of mobile networking (5G) is fostering several advancements in the access, edge and core network, promising to offer significantly higher network capacity with lower latency over the network, allowing a variety of applications and critical services to thrive around this ecosystem. Extensive softwarization of the network adds up to the flexibility of management and eases future upgrades. Softwarization expands even to the Radio Access Network (RAN) through the emerging concept of Cloud-RAN. In such setups, part of the base station stack is running as a software unit that can be instantiated in the Cloud, controlling different radio access modules for providing network access to the network. Relevant literature suggests different points for splitting the base station stack, with each point bringing different benefits for the operator. As we move down to the network stack, splits in the lower physical layer pose stringent requirements (very low latency, very high capacity) for the transport of signaling and data to the cloud-located unit (fronthaul network). Splits taking place at higher layers may prove to be more beneficial for the operator, as they can be served with existing network infrastructure (e.g. Ethernet links), and also allow the integration of heterogeneous technologies to the cell. Integration with existing technologies at different levels (access and transport network) is crucial for the continuous evolution of the platform and compatibility with legacy protocols. In this thesis, we design, study and introduce novel functionality in disaggregated base station setups, towards enabling the operation of heterogeneous technologies in the user access. The fundamental questions that we try to answer are the following: 1) What is the best point to disaggregate the base station stack? 2) How can heterogeneous technologies be integrated in the network cell? 3) Given such a disaggregated infrastructure, how can we serve end users with low latency? 4) Since such infrastructure is highly softwarized, how can we efficiently orchestrate its operation? Initially we begin with the cellular stack, and study and design its disaggregation at different points. Depending on the point that the stack is dissaggregated, different requirements are posed on the transport network, from the radio unit to the cloud. As we also target ntegration with existing technologies for the transport network (e.g. Ethernet/WiFi), we design and develop splits for the stack that can be accommodated using off-the-shelf equipment. We use a packetized transport network (base station fronthaul), in order not to rely on expensive hardware or newer protocols (e.g. the Common Public Radio Interface - CPRI). We develop and implement our splits for the stack in the open source framework OpenAirInterface (OAI), and experimentally evaluate different splits in a testbed setup. Following this, we delve into the higher OSI layer 2 split for the cellular stack and design and study the integration of different technologies to the cell. The higher layer splits that are currently standardized for the 5G New Radio (NR) protocol, assume the disaggregation of the stack at the same point, between the Packet Data Convergence Protocol (PDCP) and the Radio Link Control (RLC) layers. This disaggregation creates two different units, the Centralized Unit (CU) running at the Cloud, and the Distributed Unit (DU) running the lower layer 2 and Layer 1 protocols. Nevertheless, the PDCP layer has been used in the past for integrating different technologies in the cell, such as for example the LTE-WiFi Aggregation Adaptation Protocol (LWAAP). This creates the circumstances for the integration of heterogeneous technologies in the cell as DUs. Based on our prior study, we design and integrate WiFi as a radio access technology to the base station cell. Using a load-balancing controller, we can manage in a per packet basis which DU can serve each network client. We evaluate our contributions by extending the OAI prototype implementation and experiment in real settings with the prototype. Following this, we provide performance metrics when tuning different parameters (e.g. distance between CU/DU, transport protocol used, etc.). Nevertheless, such infrastructures tend to offer ultra-dense network deployment, with multiple technologies being collocated within the same spectrum. Therefore, efficient coordination needs to take place in order to ensure the proper operation of all the accommodated technologies. To this aim, we design and study a spectrum coordination scheme that can be applied in such disaggregated heterogeneous base station architectures. We design signaling that carries radio configuration parameters and statistics, in order to conclude on the spectrum usage of a specific area. Based on the collected measurements, we apply an algorithm for efficiently placing all the technologies within the same frequency band. We evaluate our design by further extending the implementation and experimenting in a real testbed environment with densely deployed wireless networks. Our results illustrate higher performance of the under-study network. As our next step, we design and study new features in such multi-technology disaggregated networks, towards providing low-latency service access for users connected to the cell. Multi-access Edge Computing (MEC) has been proposed as a means to drastically minimize the service access latency for clients connected to the network, by placing the services closer to the network edge. Existing literature suggests different placements for the MEC services, which at the best case is collocated with the CU of the network, intercepting backhaul traffic. Given the disaggregated nature of the cell, we design and study how the placement of services on the fronthaul network, collocated with/close to the DUs of the network, can reduce the service access latency. Our testbed experiments denote that in terms of latency, even legacy technologies (e.g. 4G LTE) can be suitable for several of the proposed 5G applications. Finally, as this network is highly softwarized, we design and study the orchestration of the software as Virtual Network Functions (VNFs). Network Functions Virtualization Management and Orchestration (NFV-MANO) provides a standardized approach on the management and effortless deployment of (virtual) services. Although NFV-MANO initially focused on the deployment of services over datacenters, the introduction of fully softwarized network architectures even for the wireless part creates fertile ground for the re-conception of the manner through which the underlying hardware is managed. In this concept, we design extensions to a Virtual Infrastructure Manager (VIM) in order to handle virtualized wireless network interfaces, hosted on the generic networking nodes of the testbed. We design the extensions in a manner that allows their transparent introduction to the existing operation of the platform, thus allowing portability of network services and network functions to other instances as well. We implement and apply our design in a testbed environment, and subsequently benchmark the framework in terms of performance and evaluate it by using the disaggregated multi-technology base stations that we have previously developed.

Η πέμπτη γενιά κινητών τηλεπικοινωνιών (5G) συγκεντρώνει πολλές νέες τεχνολογίες τόσο στο δίκτυο πρόσβασης (access network), όσο και στην άκρη του δικτύου (edge) και στο κεντρικό δίκτυο πίσω από την ασύρματη πρόσβαση (Core Network). Η συνδεσιμότητα 5G υπόσχεται σημαντικά υψηλότερη χωρητικότητα του δικτύου (network capacity) με σημαντικά μειωμένη καθυστέρηση μεταδόσεων, με σκοπό να επιτρέπουν σε μια πληθώρα εφαρμογών και κρίσιμων υπηρεσιών να εξυπηρετηθούν πάνω από το νέο αυτό δίκτυο. Με την υιοθέτηση λογισμικού για την υλοποίηση πολλών λειτουργιών του δικτύου (network softwarization), διευκολύνεται η διαχείριση του και η εγκατάσταση μελλοντικών αναβαθμίσεων. Η χρήση λογισμικού για την υλοποίηση υπηρεσιών του δικτύου επεκτείνεται πλέον και στο δίκτυο πρόσβασης χρηστών (Radio Access Network – RAN), με χρήση τεχνολογιών Νέφους (Cloud) για τη δημιουργία Cloud-RANs. Με αυτή την τεχνολογία, κομμάτι του σταθμού βάσης εκτελείται σαν λογισμικό σε υποδομές Νέφους, και μπορεί να υλοποιεί/χειρίζεται διαφορετικές τεχνολογίες για τη πρόσβαση των χρηστών στο δίκτυο. Η υπάρχουσα βιβλιογραφία προτείνει διαφορετικά σημεία για το διαχωρισμό της στοίβας πρωτοκόλλων του σταθμού βάσης, με κάθε σημείο να προσφέρει διαφορετικά πλεονεκτήματα στον πάροχο του δικτύου. Καθώς κινούμαστε πιο χαμηλά στη στοίβα πρωτοκόλλων, σημεία διαχωρισμού χαμηλά στο φυσικό επίπεδο (PHY) επιβάλλουν αυστηρές απαιτήσεις (χαμηλή καθυστέρηση, πολύ υψηλή χωρητικότητα) για τη μετάδοση δεδομένων από το κομμάτι του σταθμού βάσης που εκτελείται στο νέφος προς την κεραία. Αυτό το δίκτυο διασύνδεσης ονομάζεται fronthaul. Ο διαχωρισμός της στοίβας πρωτοκόλλων σε υψηλότερο επίπεδο μπορεί να αποδειχθεί εξαιρετικά ωφέλιμο για τον πάροχο του δικτύου, αφού το δίκτυο fronthaul μπορεί να υλοποιηθεί με χρήση υπαρχουσών τεχνολογιών (πχ. Ethernet) και να επιτρέψει την ενσωμάτωση ετερογενών τεχνολογιών στις τεχνολογίες πρόσβασης. Η ενσωμάτωση υπαρχουσών τεχνολογιών σε διαφορετικά επίπεδα (επίπεδο πρόσβασης χρηστών και στο δίκτυο μεταφοράς) είναι εξαιρετικά σημαντική για την περεταίρω εξέλιξη του δικτύου και τη συμβατότητα με παλαιότερες τεχνολογίες. Σε αυτή την εργασία, σχεδιάσαμε και μελετήσαμε πρωτοποριακούς τρόπους λειτουργίας διαχωρισμένων σταθμών βάσης, με στόχο την ενσωμάτωση ετερογενών τεχνολογιών στο επίπεδο πρόσβασης χρήστη. Οι ερωτήσεις που προσπαθούμε να απαντήσουμε είναι οι ακόλουθες: 1) Ποιο είναι το καλύτερο σημείο για το διαχωρισμού της στοίβας πρωτοκόλλων ενός σταθμού βάσης; 2) Πως μπορούμε να ενσωματώσουμε ετερογενείς τεχνολογίες στον διαχωρισμένο σταθμό βάσης; 3) Πως μπορούμε να εξυπηρετήσουμε χρήστες με πολύ χαμηλή καθυστέρηση μετάδοσης πακέτων; 4) Αφού αυτές οι αρχιτεκτονικές βασίζονται αρκετά σε λογισμικό, πως μπορούμε να ενορχηστρώσουμε τη λειτουργία τους με αποδοτικό τρόπο; Αρχικά, ξεκινάμε με την υπάρχουσα αρχιτεκτονική για κινητές επικοινωνίες και σχεδιάζουμε και μελετάμε τον διαχωρισμό της στοίβας πρωτοκόλλων σε διαφορετικά σημεία. Με βάση το σημείο διαχωρισμού, διαφορετικές απαιτήσεις υπάρχουν για το δίκτυο μεταφοράς από το κομμάτι που υλοποιεί τα χαμηλότερα επίπεδα μέχρι το νέφος. Μιας και στόχος μας είναι η ενσωμάτωση υπαρχουσών τεχνολογιών για το δίκτυο μεταφοράς (Ethernet/WiFi), σχεδιάζουμε και αποτιμούμε πειραματικά διαχωρισμούς για την στοίβα πρωτοκόλλων που μπορούν να χρησιμοποιήσουν εμπορικό εξοπλισμό. Το δίκτυο μεταφοράς (fronthaul) βασίζεται σε πακέτα (packetized) και δεν εξαρτάται από ακριβό υλικό με νεότερα πρωτόκολλα (πχ. το Common Public Radio Interface – CPRI). Με τη χρήση του ανοιχτού λογισμικού OpenAirInterface (OAI), υλοποιούμε και αποτιμούμε πειραματικά διαφορετικά σημεία διαχωρισμού σε πραγματικό περιβάλλον. Στη συνέχεια, ασχολούμαστε με το υψηλότερο επίπεδο διαχωρισμού της στοίβας (στο υψηλότερο επίπεδο 2) και μελετάμε την ενσωμάτωση διαφορετικών τεχνολογίών για το δίκτυο πρόσβασης χρηστών. Ο διαχωρισμός σε αυτό το επίπεδο αναφέρεται στα πρότυπα για το πρωτόκολλο πρόσβασης δικτύου 5G New Radio (NR), και είναι ανάμεσα στο επίπεδα Packet Data Convergence Protocol (PDCP) και Radio Link Control (RLC). Αυτός ο διαχωρισμός δημιουργεί δυο διαφορετικές μονάδες, την κεντρικοποιημένη (Centralized Unit – CU) που εκτελείται στο νέφος, και την κατανεμημένη (Distributed Unit – DU) που εκτελεί τα πρωτόκολλα στο χαμηλότερο επίπεδο 2 και επίπεδο 1 της στοίβας πρωτοκόλλων. Εντούτοις, το επίπεδο PDCP έχει χρησιμοποιηθεί και στο παρελθόν για την ενσωμάτωση ετερογενών τεχνολογιών σε σταθμούς βάσης, όπως για παράδειγμα με το πρωτόκολλο LTE-WiFi Aggregation Adaptation Protocol (LWAAP) για την ενσωμάτωση WiFi πρόσβασης. Αυτό δημιουργεί τις συνθήκες για την ενσωμάτωση ετερογενών τεχνολογιών στο δίκτυο ως κατανεμημένες μονάδες (DUs). Επεκτείνουμε την αρχική μελέτη διαχωρισμού σταθμών βάσης, ώστε να ενσωματώσουμε τεχνολογίες WiFi. Με την εισαγωγή ενός διαχειριστή φόρτου δικτύου, μπορούμε να επιλέξουμε για κάθε μετάδοση πακέτου ποια κατανεμημένη μονάδα (και επομένως διαφορετικής τεχνολογίας) μπορεί να χρησιμοποιηθεί για κάθε πελάτη του δικτύου. Επεκτείνουμε την αρχική πρωτότυπη υλοποίηση στην πλατφόρμα ΟΑΙ και πειραματιζόμαστε σε πραγματικές συνθήκες. Στη συνέχεια παρουσιάζουμε αποτελέσματα για την απόδοση του δικτύου για διαφορετικές παραμέτρους (πχ. απόσταση CU/DU, το πρωτόκολλο επιπέδου μεταφοράς που χρησιμοποιείται, κλπ.). Ωστόσο, τέτοιες υποδομές συχνά προσφέρουν υπερ-πυκνή ανάπτυξη του δικτύου, με πολλαπλές ετερογενείς τεχνολογίες να χρησιμοποιούν το ίδιο ασύρματο φάσμα. Επομένως, πρέπει να υπάρξει αποδοτικός συντονισμός για τη διασφάλιση της σωστής λειτουργίας όλων των τεχνολογιών στο επίπεδο πρόσβασης. Γι’ αυτόν το σκοπό, σχεδιάζουμε και μελετάμε νέα σηματοδοσία για τον συντονισμό ετερογενών τεχνολογιών σε τοπολογίες διαχωρισμένων σταθμών βάσης. Επεκτείνουμε την υλοποίηση μας με ένα νέο μηχανισμό επικοινωνίας που μεταφέρει παραμέτρους της διαμόρφωσης του δικτύου και στατιστικά χρήσης, για την διεξαγωγή συμπερασμάτων για τη χρήση του φάσματος σε μια περιοχή. Με βάση τις συλλεχθείσες μετρήσεις, εφαρμόζουμε ένα αλγόριθμο για τον καθορισμό της χρήσης φάσματος από κάθε τεχνολογία στην ίδια μπάντα συχνοτήτων. Αποτιμάμε τη νέα λύση μέσω πειραματισμού σε πραγματικό περιβάλλον και παρουσιάζουμε τα αποτελέσματα μας που αποδεικνύουν καλύτερη λειτουργία του υπό μελέτη δικτύου. Σαν επόμενο βήμα, μελετάμε και σχεδιάζουμε νέα λειτουργικότητα σε αρχιτεκτονικές διαχωρισμένων σταθμών βάσης με ετερογενείς τεχνολογίες, με σκοπό την επίτευξη χαμηλής καθυστέρησης μετάδοσης για την πρόσβαση υπηρεσιών από τους χρήστες του δικτύου. Η τεχνολογία Multi-access Edge Computing (MEC) έχει προταθεί σαν μέθοδος για τη δραστική μείωση της καθυστέρησης πρόσβασης σε υπηρεσίες που παρέχονται πάνω από το δίκτυο, με την τοποθέτηση των υπηρεσιών αυτών κοντά στην άκρη του δικτύου. Η υπάρχουσα βιβλιογραφία προτείνει διαφορετικές τοποθεσίες για την τοποθέτηση των υπηρεσιών αυτών, με αυτές να τοποθετούνται στην καλύτερη περίπτωση μαζί με την κεντρικοποιημένη μονάδα (CU) και να χειρίζονται κίνηση που κατευθύνεται προς το κεντρικό δίκτυο (backhaul δίκτυο). Με βάση τον διαχωρισμένο σταθμό βάσης, μελετάμε και σχεδιάζουμε την τοποθέτηση υπηρεσιών στο δίκτυο fronthaul, είτε μαζί ή κοντά στις κατανεμημένες μονάδες του δικτύου (DUs). Τα πειραματικά μας αποτελέσματα δείχνουν πως αναφορικά με την καθυστέρηση, ακόμα και παλαιότερες τεχνολογίες (όπως η τεχνολογία LTE της 4ης γενιάς δικτύων) μπορεί να εξυπηρετήσουν αρκετές από τις εφαρμογές που έχουν αναπτυχθεί για δίκτυα 5ης γενιάς. Τέλος, αφού το δίκτυο μας εξαρτάται σε μεγάλο βαθμό από λογισμικό, μελετάμε και σχεδιάζουμε την ενορχήστρωση του σαν εικονικές συναρτήσεις δικτύου (Virtual Network Functions - VNFs). Η αρχιτεκτονική Network Functions Virtualization Management and Orchestration (NFV-MANO) παρέχει μια προτυποποιημένη μέθοδο για τη διαχείριση και την εύκολη ανάπτυξη (εικονικών) υπηρεσιών. Η αρχιτεκτονική NFV-MANO αρχικά επικεντρώνεται στην ανάπτυξη υπηρεσιών/εφαρμογών πάνω από datacenters. Όμως, η εισαγωγή αρχιτεκτονικών δικτύου που εξαρτώνται σε μεγάλο βαθμό από λογισμικό, ακόμα και για το ασύρματο δίκτυο, παρέχουν έδαφος για την αλλαγή του τρόπου με τον οποίο διαχειριζόμαστε το υλικό. Με αυτή την έννοια, σχεδιάζουμε την επέκταση της οντότητας Virtual Infrastructure Manager (VIM) της αρχιτεκτονικής ώστε να χειρίζεται εικονοποιημένα ασύρματα δίκτυα, που δημιουργούμε σε πραγματικό περιβάλλον. Ο σχεδιασμός μας επιτρέπει την εισαγωγή των επεκτάσεων αυτών με διαφάνεια στο σύστημα, ώστε να επιτρέψουν τη μεταφορά υπηρεσιών από άλλες πλατφόρμες που δεν υποστηρίζουν ασύρματες τεχνολογίες. Εφαρμόζουμε τις επεκτάσεις μας αυτές σε πραγματικό περιβάλλον, και αποτιμάμε την πλατφόρμα μας σχετικά με την απόδοση της, χρησιμοποιώντας σαν υπηρεσίες δικτύου τους διαχωρισμένους σταθμούς βάσης με πολλαπλές τεχνολογίες ασύρματης πρόσβασης που προηγουμένως αναπτύξαμε.