High-capacity optical switches for datacenter networks

Abstract

Amid the rising wave of global digital transformation, the dramatic increase of data that are processed and transferred within Data Centers (DC) has signaled monumental transformations across the DC network architectures. This data traffic explosion is constantly pushing the DC interconnects throughout the network hierarchy to their limit, while innovative concepts currently pursued by the DC industry, like resource disagreggation, impose even more strenuous requirements on the pillars of the DC network, the switching fabrics. In this context, optical switching solutions have gained significant research attention as highly promising and future-proof technological candidates that will increase capacity across all critical switching performance metrics: bandwidth, latency and high-radix connectivity. The main target of this thesis was the development of a holistic approach towards high-capacity optical packet switching schemes for the different network hierarchy layers of disaggregated DC systems and the investigation of their performance via both experimental and simulation analyses. As a first step, an optically-enabled Bloom-filter (BF) forwarding node has been developed for high-bandwidth and low-latency on-board communication. Taking into consideration the huge increase in network nodes that is expected in disaggregated systems, Bloom-filter-based forwarding has been explored as a space- and performance-efficient scheme to facilitate the respective routing table lookup and reconfiguration operations. The proof-of-concept demonstration was performed using a silicon-based 4x4 electro-optic carrier injection switching matrix in Benes layout, directly controlled by an FPGA board, which emulated the role of an actual control plane. Successful forwarding of 10Gb/s optical packets was achieved, along with BF routing-table and switching matrix reconfiguration in a 1x4 switching scenario.Moving on to the next network hierarchy layer, the Rack, a novel optical packet switch (OPS) architecture, named Hipoλaos, has been developed targeting maximum scalability across all critical switch characteristics; port-count, datarate and throughput/latency performance. The Hipoλaos architecture has been designed as a disaggregation-oriented OPS layout and manages to combine low latency and high-throughput performance into high-port count configurations by distributing the switch and control functions on small clusters, named as Planes. In order to push the performance envelope, each Plane follows a hybrid forwarding scheme exploiting Broadcast-and-Select switching along with optical delay-line-based buffering and AWGR-enabled wavelength routing. The architecture has been experimentally validated through a prototype testbed, that was developed for this purpose, featuring a fully functional optical switching Plane, following the design principles of a 256-port switch layout, along with its dedicated FPGA controller and a commercial AWGR device. The experimental demonstration was successfully performed utilizing both unicast and multicast packets at 10Gb/s, that were routed through the Hipoλaos switch, emulating various traffic scenarios.Taking one step further, towards elevating the Hipoλaos architecture from a lab-scale experimental prototype into a system credible for deployment in real-world network environments, the prototype fabric was validated in realistic DC and 5G testbeds that were built for this purpose. The target was the resolution of the main OPS-related challenges, namely the need for Burst-Mode Clock-and-Data-Recovery (BM-CDR) circuits with ns-scale locking time and the compatibility with existing protocols, like Ethernet. To this end, the 1024-port Hipoλaos OPS layout has been combined with an all-digital BM-CDR circuit at the receiver end in order to realize a 25.6 Tb/s capacity OPS setup. Successful reception of, both unicast and multicast, 25Gb/s optical burst-data packets is reported, with the packets routed through the Hipoλaos prototype and received by the BM-CDR device, accomplishing just <50ns CDR locking time. Subsequently, an intra-DC along with a 5G-fronthaul testbed have been developed, that consisted of enterprise servers communicating via commercial 10Gb/s Ethernet SFP+ transceivers, in conjunction with a mm-Wave 5G Digital Radio Over Fiber wireless link in the 5G-testbed case. Unicast and multicast Ethernet packet transmission was successfully validated via the Hipoλaos switch, while network performance and stability over time were confirmed through measurements carried out using the iperf application suite, along with uninterrupted high-definition video transmission.Finally, to evaluate the throughput and latency performace of OPS technologies at system-scale, a network simulation toolkit was designed and developed. The developed simulation engine was built on top of the Omnet++ framework and was designed to take into account the complete set of parameters and specifications arising from the principle of operation of OPS networks. Subsequently, the simulator was employed to validate the performance of the Hipoλaos OPS under different architectural layouts and radices, packet sizes, network topologies, packet forwarding modes and traffic profiles. The performance analysis revealed that the Hipoλaos switch can successfully provide the sub-μsec latency performance required in disaggregated systems, while its throughput performance can reach values of 90% and higher, with just a small number of buffers in the respective delay-line buffering blocks.

Το διαρκώς αυξανόμενο κύμα ψηφιακού μετασχηματισμού που παρατηρείται παγκοσμίως έχει προκαλέσει δραματική αύξηση στον όγκο των δεδομένων που επεξεργάζονται και διακινούνται εντός των Κέντρων Δεδομένων (ΚΔ). Αυτή η έκρηξη στην μεταφορά δεδομένων έχει ωθήσει στο όριο τον δικτυακό εξοπλισμό των ΚΔ, ενώ παράλληλα καινοτόμες αρχιτεκτονικές που μελετώνται από την βιομηχανία ΚΔ, όπως η τεχνική διαχωρισμού πόρων, δημιουργούν επιπλέον πίεση στους βασικούς πυλώνες του δικτύου, τους μεταγωγείς δεδομένων. Σε αυτό το πλαίσιο, παρατηρείται έντονη ερευνητική δραστηριότητα στον τομέα των οπτικών μεταγωγέων δικτύου ως εξαιρετικά υποσχόμενες λύσεις που θα μπορέσουν να υπερκαλύψουν τις απαιτήσεις για εξαιρετικά υψηλό εύρος ζώνης, χαμηλή καθυστέρηση καθώς και υψηλότατο αριθμό από θύρες διασύνδεσης. Ο κύριος στόχος αυτής της διατριβής ήταν η ανάπτυξη μιας ολιστικής προσέγγισης για συστήματα οπτικής μεταγωγής πακέτου υψηλής χωρητικότητας που θα καλύπτουν τα διαφορετικά επίπεδα ιεραρχίας δικτύου σε ΚΔ διαχωρισμού πόρων, όπως επίσης και η μελέτη της απόδοσής τους μέσω πειραματικών αναλύσεων και προσομοιώσεων.Ως πρώτο βήμα αναπτύχθηκε ένας οπτικός κόμβος μεταγωγής που υλοποιούσε τεχνική διευθυνσιοδότησης πακέτων μέσω φίλτρων Bloom, με σκοπό την επίτευξη υψηλού εύρους ζώνης και χαμηλής καθυστέρησης για επικοινωνία σε επίπεδο πλακέτας. Λαμβάνοντας υπόψη την τεράστια αύξηση των κόμβων δικτύου που αναμένεται σε ΚΔ διαχωρισμού πόρων, η διευθυνσιοδότηση πακέτων με φίλτρα Bloom έχει εξεταστεί ως μια τεχνική προώθησης πακέτων που μπορεί να προσφέρει μείωση της απαιτούμενης μνήμης σε συνδυασμό με ταυτόχρονη αύξηση της ταχύτητας. Η πειραματική αξιολόγηση βασίστηκε ένα ολοκληρωμένο κύκλωμα οπτικού μεταγωγέα 4x4, τεχνολογίας πυριτίου, σε συνδυασμό με ένα κύκλωμα επεξεργασίας επικεφαλίδων οπτικών πακέτων που υλοποιήθηκε σε πλατφόρμα FPGA. Η πειραματική αξιολόγηση ολοκληρώθηκε επιτυχώς σε ταχύτητα 10Gb/s, επιδεικνύοντας για πρώτη φορά μια ανακαθοριζόμενη και προγραμματιζόμενη διάταξη οπτικής μεταγωγής όπου η διευθυνσιοδότηση πραγματοποιείται με τη χρήση φίλτρων Bloom.Προχωρώντας στο επόμενο επίπεδο ιεραρχίας δικτύου, το Rack, αναπτύχθηκε μια καινοτόμα αρχιτεκτονική οπτικού μεταγωγέα πακέτου, ονομαζόμενη «Hipoλaos», με στόχο την κάλυψη των δικτυακών απαιτήσεων της τεχνικής διαχωρισμού πόρων. Η αρχιτεκτονική «Hipoλaos» δίνει έμφαση στην υποστήριξη υψηλού αριθμού θυρών και χαμηλής καθυστέρησης κατανέμοντας της λειτουργίες μεταγωγής και ελέγχου σε πολλαπλά συμπλέγματα μεταγωγής, που ακολουθούν ένα υβριδικό μοντέλο βασιζόμενο στην τεχνική ευρείας εκπομπής και επιλογής (Broadcast-and-select) σε συνδυασμό με δρομολόγηση μήκους κύματος μέσω φραγμάτων συστοιχίας κυματοδηγών (AWGR). Παράλληλα προκειμένου να αυξηθεί η ρυθμο-απόδοση που μπορεί να προσφέρει ο οπτικός μεταγωγέας προστέθηκε η δυνατότητα προσωρινής αποθήκευσης πακέτων μέσω οπτικών γραμμών αποθήκευσης (optical buffering delay lines). Με σκοπό την εκτίμηση απόδοσης της αρχιτεκτονικής Hipoλaos πραγματοποιήθηκε αξιολόγηση ενός πειραματικού πρωτότυπου μεταγωγέα, αποτελούμενου από οπτικές διατάξεις σε συνδυασμό με ελεγκτή πακέτων που αναπτύχθηκε σε πλατφόρμα FPGA, καθώς και μια συσκευή AWGR. Η πειραματική επίδειξη πραγματοποιήθηκε με επιτυχία χρησιμοποιώντας πακέτα μονο-εκπομπής (unicast) και πολύ-εκπομπής (multicast) που δρομολογήθηκαν μέσω του μεταγωγέα Hipoλaos, επιβεβαιώνοντας τη δυνατότητα επιτυχούς διασύνδεσης 256 κόμβων σε ρυθμό 10 Gb/s.Στη συνέχεια μελετήθηκε η ενσωμάτωση του πειραματικού μεταγωγέα Hipoλaos σε ρεαλιστικά περιβάλλοντα δικτύου με σκοπό την επίλυση των βασικών προκλήσεων που αντιμετωπίζουν οι οπτικοί μεταγωγείς πακέτου. Στα πλαίσια της συγκεκριμένης ερευνητικής προσπάθειας αρχικά μελετήθηκε πειραματικά ο συνδυασμός του μεταγωγέα “Hipoλaos” με μια πειραματική διάταξη ανάκτησης ρολογιού και δεδομένων εκρηκτικής ροής (burst-mode CDR). Η επιτυχής λήψη πακέτων μονο-εκπομπής και πολύ-εκπομπής σε ταχύτητες 25Gb/s, τα οποία προηγουμένως είχαν δρομολογηθεί μέσω του μεταγωγέα Hipoλaos 1024-θυρών, επιβεβαίωσε τη δυνατότητα κατασκευής ενός συστήματος με χωρητικότητα διαμεταγωγής 25.6Tb/s, σε συνδυασμό με χρόνους ανάκτησης δεδομένων στον εκάστοτε δέκτη της τάξης των <50ns. Σε επόμενο βήμα υλοποιήθηκε η ενσωμάτωση του μεταγωγέα Hipoλaos σε δικτυακά περιβάλλοντα που υλοποιούν τεχνολογίες Ethernet και τα οποία χρησιμοποιούνται κατεξοχήν σε ΚΔ και δίκτυα 5G. Με τη χρήση εξυπηρετητών με οπτικούς πομποδέκτες SFP+ πραγματοποιήθηκε αξιολόγηση της απόδοσης του οπτικού μεταγωγέα σε ρυθμούς 10Gb/s, ενώ για την αξιολόγηση σε δίκτυα 5G υλοποιήθηκε μια ασύρματη σύνδεση με τη χρήση κεραιών mm-Wave. Kαι στις 2 περιπτώσεις επιβεβαιώθηκε η επιτυχής λειτουργία του μεταγωγέα, επιτυγχάνοντας μηδενικά σφάλματα σε χρονικό διάστημα δύο ωρών.Τέλος, για την αξιολόγηση της ρυθμο-απόδοσης και της καθυστέρησης διάδοσης που μπορούν να υποστηρίξουν οι οπτικοί μεταγωγείς σε ΚΔ αναπτύχθηκε ένας προσομοιωτής δικτύων με δυνατότητα μοντελοποίησης οπτικών μεταγωγέων πακέτου. Ο προσομοιωτής αναπτύχθηκε στην πλατφόρμα Omnet++ και επιτρέπει την ανάλυση της απόδοσης του δικτύου ενός ΚΔ για ένα σύνολο συνθετικών καθώς και ρεαλιστικών μοτίβων κίνησης. Στη συνέχεια, ο προσομοιωτής χρησιμοποιήθηκε για την επικύρωση της απόδοσης του μεταγωγέα Hipoλaos θεωρώντας διαφορετικές αρχιτεκτονικές διατάξεις, μεγέθη πακέτων, τοπολογίες δικτύου, τρόπους προώθησης πακέτων και προφίλ κίνησης δεδομένων. Tα αποτελέσματα που εξήχθησαν μέσω της προσομοίωσης επιβεβαίωσαν πως η μέγιστη καθυστέρηση μέσω του μεταγωγέα Hipoλaos διατηρείται χαμηλότερα του μικρο-δευτερολέπτου ενώ η ρυθμο-απόδοση διατηρείται άνω του 90% ακόμα και για μικρό αριθμό γραμμών αποθήκευσης.