High-performance networks-on-chip

Abstract

Over the last two decades, we have witnessed a fundamental paradigm shift in digital system design: the transition to the multi-core realm. Naturally, the multi-core domain has elevated the criticality of the on-chip interconnection fabric, which is now tasked with satisfying amplified communication demands. Owing to their scalability attributes, Networks-on-Chip (NoC) have established their position as the de facto communication medium in multi-core systems. To sustain system scalability into the many-core domain (with potentially hundreds of cores), it is imperative that the NoC's hardware cost is minimized, while not sacrificing network performance.To this end, we propose three alternative architectures that can significantly improve the performance of NoCs, or lead to an overall lower power consumption.The first one is a pipelined router architecture, called ShortPath, that parallelizes - for the first time - the allocation steps involved in the operation of a VC-based router without resorting to speculation. Most importantly, ShortPath is augmented with an always-productive pipeline bypassing mechanism, which skips all stages without contention, and "fast-forwards" the flits to the first encountered point of contention.The other two approaches exploit fast link traversal, after appropriate wire engineering, to rapidly transfer flits between adjacent routers (connected with links of reasonable, short-to-medium length of up to a few millimeters) in half a clock cycle. Under this clocking principle, two design alternatives are explored, which allow for half-cycle and Double-Data-Rate (DDR) link traversal. The proposed approaches can markedly increase network performance, or decrease the area/power cost of the NoC. Although not obvious at first glance, half-cycle link traversal opens up new possibilities for reducing wire capacitance. By harnessing these opportunities, the half-cycle-delay requirement becomes easier to achieve and potentially extends half-cycle traversal capabilities to longer links. To tackle longer links, novel DDR dual-stream elastic buffers are proposed for pipelining the links while still following DDR flow control.As multi/many-core architectures evolve, the demands on the NoC are amplified. In addition to high performance and physical scalability, the NoC is increasingly required to also provide specialized functionality, such as network virtualization, flow isolation, and quality-of-service guarantees. Although traditional architectures supporting Virtual Channels (VCs) offer the resources for flow partitioning and isolation, an adversarial workload can still interfere and degrade the performance of other workloads that are active in a different set of VCs. Motivated by this aspect, we present PhaseNoC, a truly non interfering VC-based architecture that adopts time-division multiplexing at the VC level. Distinct flows, or application domains, mapped to disjoint sets of VCs are isolated, both inside the router's pipeline, and at the network level. Any latency overhead is minimized by appropriate scheduling of flows in separate phases of operation, irrespective of the chosen topology. When strict isolation is not required, the proposed architecture can employ opportunistic bandwidth stealing to further reduce packet latency.

Τις τελευταίες δύο δεκαετίες, πραγματοποιήθηκε μια θεμελειώδης αλλαγή στον τομέα της σχεδίασης ψηφιακών συστημάτων: η μετάβαση στην πολυ-πύρηνη εποχή. Όπως είναι φυσικό, οι ενσωμάτωση πολλών πυρήνων σε ένα ολοκληρωμένο κύκλωμα έχει αναβαθμίσει την κρισμότητα του υλικού διασύνδεσης, το οποίο είναι πλέον υπεύθυνο για την ικανοποίηση των αυξημένων απαιτήσεων επικοινωνίας. Λόγω της ευκολίας τους να ανταποκρίνονται στην κλιμάκωση, τα Δίκτυα σε Ολοκληρωμένα Κυκλώματα (Networks-on-Chip -- NoC), έχουν καθιερωθεί ώς το de facto μέσο επικοινωνίας μεταξύ των μονάδων επεξεργασίας των πολυ-πύρηνων συστημάτων. Για να συνεχίσουν να ανταποκρίνονται στις απαιτήσεις των μελοντικών συστημάτων, που θα αποτελούνται από εκατοντάδες πυρήνες, είναι επιτακτική η ανάγκη να μειώνεται το κόστος των δικτύων αυτών, χωρίς να θυσιάζεται η δικτυακή τους επίδοση.Σε αυτά τα πλαίσια, προτείνουμε τρείς εναλλακτικές αρχιτεκτονικές που ενισχύουν σημαντικά την απόδοση των Δικτύων σε Ολοκληρωμένα Κυκλώματα, ή οδηγούν στη μείωση της καταναλώμενης ισχύος τους.Η πρώτη είναι μια αρχιτεκτονική διασωληνωμένου δρομολογητή, το ShortPath, που καταφέρνει για πρώτη φορά να παραλληλοποιήσει τα στάδια δέσμευσης πόρων ενός δρομολογητή εικονικών καναλιών, χωρίς να καταφεύγει σε τεχνικές εικασιών. Το ShortPath ενισχύεται από έναν μηχανισμό παράκαμψης σταδίων διασωλήνωσης, με τον οποίο τα πακέτα παρακάμπτουν με παραγωγικό τρόπο όλα τα στάδια διασωλήνωσης του δρομολογητή χωρίς συμφόρηση.Οι άλλες δυο αρχιτεκτονικές εκμεταλλεύονται την ταχύτητα των καλωδίων του κυκλώματος για την ταχεία μετάδοση των πακέτων στα κανάλια μεταξύ δυο δρομολογητών (που απέχουν ελάχιστα χιλιοστά μεταξύ τους) σε μισό κύκλο ρολογιού. Μελετάται η εφαρμογή αυτού του κανόνα ρολογιού σε δυο εναλλακτικές αρχιτεκτονικές, που επιτρέπουν κανάλια μισού κύκλου και Διπλού Ρυθμού Μετάδοσης (Double Data Rate -- DDR). Οι προτεινόμενες προσεγγίσεις είτε ενισχύουν σημαντικά τις δικτυακές επιδόσεις, είτε οδηγούν σε μείωση της έκτασης και της κατανάλωσης ενέργειας του δικτύου. Αν και δεν είναι προφανές με την πρώτη ματιά, τα κανάλια μισού κύκλου ανοίγουν νέες δυνατότητες στη μείωση της χωρητικότητας των καλωδίων, κάνοντας έτσι ευκολότερη την εφαρμογή αυτής της τεχνικής σε κανάλια ακόμα μεγαλύτερου μήκους. Για τη διασωλήνωση μακρύτερων καναλιών, προτείνονται πρωτότυποι Ελαστικοί Ενταμιευτές διπλής ροής και διπλού ρυθμού μετάδοσης δεδομένων, με ενσωματωμένες λειτουργίες ελέγχου ροής δεδομένων.Με την εξέλιξη των πολυ-πύρηνων αρχιτεκτονικών, οι απαιτήσεις του συστήματος από το δίκτυο αυξάνονται. Πέρα από την υψηλή απόδοση και τη φυσική κλιμάκωση, απαιτείται η παροχή ειδικευμένων λειτουργιών, όπως η δικτυακή εικονικοποίηση, η απομόνωση των ροών και οι παροχή εγγυημένης ποιότητας υπηρεσιών. Παρόλο που οι παραδοσιακές αρχιτεκτονικές που υποστηρίζουν εικονικά κανάλια διαθέτουν ήδη τους πόρους για το διαχωρισμό των ροών, η αλληλοπαρεμβολή μεταξύ των ροών εξακολουθεί να υφίσταται, με αποτέλεσμα η δικτυακή επίδοση των διαφορετικών εικονικών καναλιών να αλληλοεπηρεάζεται αρνητικά.Ανταποκρινόμενοι σε αυτές τις απαιτήσεις, παρουσιάζουμε το PhaseNoC, μια αρχιτεκτονική δρομολογητών με εικονικά κανάλια, που πετυχαίνει πραγματική μη-παρεμβολή των ροών, εφαρμόζοντας πολύπλεξη διαίρεσης χρόνου στο επίπεδο των εικονικών καναλιών. Οι διαφορετικές ροές, ή οι διαφορετικές κλάσεις εφαρμογών, αντιστοιχίζονται σε διαφορετικά εικονικά κανάλια, και παραμένουν απομονωμένες μεταξύ τους, τόσο στο επίπεδο του εσωτερικού των δρομολογητών, όσο και στο επίπεδο του δικτύου συνολικά. Η επιβάρυνση στην καθυστέρηση τω πακέτων ελαχιστοποιείται μετά από κατάλληλο προγραμματισμό των ροών σε λειτουργία φάσεων, που εφαρμόζεται σε οποιαδήποτε τοπολογία δικτύου. Όταν δεν απαιτείται αυστηρή απομόνωση, η προτεινόμενη αρχιτεκτονική χρησιμοποιεί την πρωτότυπη τεχνική ευκαιριακής κλοπής εύρους ζώνης, έτσι ώστε να ενσχύσει ακόμη περισσότερο τις επιδόσεις του δικτύου.