Decentralized deep neural network training via distributed ledger technology

Abstract

Artificial Intelligence has been proven to hugely benefit from big data and enormous computer power. This fact gives a great head start to the few large companies that possess such infrastructure, so they tend to dominate the AI space. A desirable alternative could be the creation of prototypes that: 1) They no longer rely on large private data centers. 2) They are not based on just a decentralized model, but on a fully distributed one, meaning that they have no need for a central coordinator. Following the above directives, we could develop networks that: 1) They can approach (or even exceed) the total computing power of a big data center, by utilizing a large number of nodes. 2) They have no "single point of failure", since all participants have equal roles, meaning that the network will keep working even if a portion of it gets offline. 3) They are democratized, since all nodes have the exact same access to the produced outcome. So far almost all of the implementations regarding neural network training, focus mainly on performance issues. Although there has been significant research on distributed algorithms, there is not enough research on a model that has no need of a coordinating server. This thesis utilizes new peer-to-peer topologies based on cryptographic verification (Distributed Ledger Technology - DLT), attempting to diffuse the server role to the whole network. During our research we tested various configurations of the distributed model, in order to evaluate their impact on both the training speed and the quality of the produced model. The result is a novel and ready-to-use ecosystem, for a democratized method of training deep neural networks.

Τα τελευταία χρόνια έχει γίνει αντιληπτό ότι ο αποδοτικότερος τρόπος να εκπαιδευτεί κάποιο σύνθετο μοντέλο τεχνητής νοημοσύνης είναι η αξιοποίηση εξαιρετικά μεγάλων όγκων δεδομένων και μεγάλης υπολογιστικής ισχύος. Το γεγονός αυτό δίνει ένα ανυπέρβλητο προβάδισμα στις λίγες εταιρίες που κατέχουν αυτά τα στοιχεία, με αποτέλεσμα αυτές να τείνουν να κυριαρχήσουν στις εξελίξεις. Συνεπώς θα ήταν επιθυμητό να δημιουργήσουμε πρότυπα τα οποία: 1) Εγκαταλείπουν τη λογική των μεγάλων ιδιωτικών υπολογιστικών κέντρων. 2) Βασίζονται, όχι απλώς σε αποκεντρωμένο, αλλά σε πλήρως κατανεμημένο μοντέλο, υπό την έννοια ότι λειτουργούν δίχως την ανάγκη ενός κεντρικού συντονιστή. Ακολουθώντας αυτή την οδό μπορούν να δημιουργηθούν αρχιτεκτονικές οι οποίες: 1) Αξιοποιώντας πολυάριθμους κόμβους προσεγγίζουν (η ακόμα και ξεπερνούν) την υπολογιστική ισχύ ενός μεγάλου data center. 2) Λόγω ισοτιμίας των συμμετεχόντων δεν έχουν "single point of failure", το οποίο πρακτικά σημαίνει ότι η λειτουργία τους συνεχίζεται απρόσκοπτα ακόμα και μετά την αποσύνδεση ενός μεγάλου ποσοστού των κόμβων τους. 3) Είναι "εκδημοκρατισμένες", δηλαδή όλοι οι συμμετέχοντες έχουν ίση πρόσβαση στα παραγόμενα αποτελέσματα. Οι μέχρι τώρα υλοποιήσεις των αλγορίθμων ανάπτυξης νευρωνικών δικτύων επικεντρώνονται πρωτίστως στον τομέα της ταχύτητας εκπαίδευσης του μοντέλου. Παρόλο που έχουν αναπτυχθεί εκδοχές για κατανεμημένη επεξεργασία, αυτές έχουν ανάγκη από έναν κεντρικό κόμβο-διαχειριστή ο οποίος θα αναλαμβάνει τον συντονισμό των υπολοίπων. Δεν έχει όμως γίνει επαρκής μελέτη για μία υλοποίηση που δεν απαιτεί έναν τέτοιο διακομιστή. Η πρότασή μας αξιοποιεί νέας τεχνολογίας ομότιμες τοπολογίες που έχουν ως θεμέλιο λίθο την κρυπτογραφική επαλήθευση (Distributed Ledger Technology - DLT), με στόχο τη "διάχυση" του διαχειριστικού ρόλου σε ολόκληρο το δίκτυο. Κατά την εκπόνηση της έρευνας δοκιμάστηκαν διαφορετικές διαμορφώσεις της κατανεμημένης λειτουργίας και αποτιμήθηκαν οι επιπτώσεις που είχε αυτή η παραμετροποίηση, τόσο στην ταχύτητα εκπαίδευσης όσο και στην ποιότητα του παραγόμενου μοντέλου. Το αποτέλεσμα είναι ένα καινοτόμο οικοσύστημα νεοφυών τεχνολογιών, για εκδημοκρατισμένη εκπαίδευση βαθέων νευρωνικών δικτύων.