Large scale data mining via parallel and distributed neural networks and machine learning schemes

Abstract

The thesis focuses on four important factors: parallel learning, distributed learning, hierarchical learning and local learning. Parallelizable algorithms for regression with Extreme Learning Machines (ELM) are investigated in chapters 3 and 4. We speedup the computations for model construction and model selection phase by employing Cholesky, SVD, QR and Eigen decompositions. In chapter 4 we propose the Parallel Enhanced and Convex Incremental Extreme Learning Machine (ECI-ELM) which combines two popular existing incremental versions of ELM, namely the Enhanced I-ELM with the Convex I-ELM, and thus it outperforms them in accuracy, and reveals parallel speedups very close to ideal. Parallel Probabilistic Neural Network (PNN) classifiers are investigated in chapter 5 in a Ring pipeline parallel scheme, where we map the proposed leave-one-out kernel averaged gradient descent algorithm together with Subtractive Clustering and Expectation Maximization. The PNN model is created automatically. Parallel Radial Basis Function (RBF) Neural Networks are studied in chapter 6 by using the Ring pipeline, where we map the proposed leave-one-out Kernel Averaged Gradient descent Subtractive Clustering (KG-SC) for automatically selecting appropriate RBF centers and then the training continues with a mini-batch gradient descent for refining the network parameters. A distributed asynchronous and privacy-preserving Regularization Network committee machine composed of many Regularization networks with no local data exchange among the classifiers is studied in chapter 7. We propose a simple strategy that maps all peers in an asymmetric mutual validation matrix. Experimental results show that the proposed RN committee outperforms majority voting, weighted average and stacked generalization. For distributed asynchronous and privacy-preserving neural network ensemble selection in chapter 8 we proposed the Confidence Ratio Affinity Propagation algorithm, which constructs a two-by-two mapping of all the classifier pairs by using simple one directional point-to-point communication messages. The proposed model showed promising results as compared with other pruning methods, such as reduce-error pruning, Kappa pruning, orientation pruning and JAM’s diversity pruning. Distributed class specialized learning in chapter 9 deals with a Probabilistic Neural Network (PNN) committee machine, where the pattern neurons are composed of locally trained class-specialized regularization networks. Then an asynchronous distributed computing P2P cycle is executed to construct a mutual validation matrix. From this matrix, based on regularized non-negative weighting, it is possible to perform weight based ensemble selection of best members for every class. A new Hierarchical Markovian Radial Basis Function neural network (HiMarkovRBFNN) is presented in chapter 10. The hierarchical structure of this network is composed of nested RBF Neural Networks with arbitrary levels of hierarchy and allows data access in a recursive fashion that enables recursive operations. Comparisons with Committee Machines and Cascaded Machines reveal that the proposed HiMarkovRBFNN serves well as a hierarchical combiner. For Local Learning algorithms that use a different model for a different testing point, we consider Regularization Networks in chapter 11. We explore four different cases for improving the training accuracy and speed by exploiting the interplay between locally optimized and globally optimized parameters.

Η διατριβή εστιάζει σε τέσσερις τομείς: παράλληλη μάθηση νευρωνικών δικτύων, κατανεμημένη μάθηση επιτροπών νευρωνικών δικτύων, ιεραρχική και τοπική μάθηση νευρωνικών δικτύων. Στο κεφ. 3 δείχνουμε ότι για την κλιμακούμενη εκπαίδευσή των Extreme Learning Machines (ELM), η δημιουργία πολλών μοντέλων και η επιλογή του καταλληλότερου μοντέλου αντιμετωπίζονται ως μία φάση, την οποία μπορούμε έτσι να επιταχύνουμε μέσω γνωστών μεθόδων παραγοντοποιήσεων πινάκων όπως Cholesky, SVD, QR και Eigen Value decomposition. Στο κεφ. 4 προτείνουμε το parallel Enhanced Convex Incremental Extreme Learning Machine (ECI-ELM) που συνδυάζει τα δύο γνωστά Enhanced I-ELM και Convex I-ELM και έτσι λειτουργεί καλύτερο από αυτά ως προς την ακρίβεια και προσφέρει επιταχύνσεις στην αρχιτεκτονική master-worker πολύ κοντά στην γραμμική επιτάχυνση. Παράλληλοι αλγόριθμοι για Probabilistic Neural Network (PNN) διερευνώνται στο κεφ. 5 στο πλαίσιο παράλληλης σωληνωτής επεξεργασίας σε δακτύλιο, όπου απεικονίζεται το σχήμα εκπαίδευσης του προτεινόμενου αλγόριθμου kernel averaged gradient descent Subtractive Clustering με τον αλγόριθμο Expectation Maximization. Η εκπαίδευση του δικτύου γίνεται αυτόματα. Ο δακτύλιος σωληνωτής επεξεργασίας επιτρέπει τον διαμερισμό τόσο των δεδομένων όσο και τον διαμερισμό των νευρώνων του δικτύου στους επεξεργαστές, και κλιμακώνεται τόσο σε πολλά δεδομένα όσο και σε μεγάλα μοντέλα νευρώνων. Παράλληλοι αλγόριθμοι εκπαίδευσης για Radial Basis Function (RBF) Neural Networks μελετούνται στο κεφ. 6 πάλι μέσω της αρχιτεκτονικής παράλληλης σωληνωτής επεξεργασίας σε δακτύλιο. Ο συνδυασμός του προτεινόμενου αλγόριθμου kernel averaged gradient descent Subtractive Clustering επιλέγει αυτόματα τα κέντρα των RBF νευρώνων και η εκπαίδευση συνεχίζεται με τον αλγόριθμο mini-batch gradient descent. Στο κεφ. 7 μελετάται μια μηχανή επιτροπής κατανεμημένων νευρωνικών δικτύων που μέσω ασύγχρονων και κατανεμημένων υπολογισμών διατηρούν την εμπιστευτικότητα των δεδομένων. Δημιουργεί έναν πίνακα χαρτογράφησης των νευρωνικών δικτύων με βάση την ακρίβεια του κάθε ενός στα δεδομένα του κάθε άλλου. Οι συγκρίσεις δείχνουν ότι υπερτερεί έναντι γνωστών μεθόδων majority voting, weighted average και stacked generalization. Το κεφ. 8 εξετάζει το πρόβλημα της κατανεμημένη επιλογής του καλυτέρου συνόλου νευρωνικών δικτύων. Προτείνουμε τον αλγόριθμο Confidence Ratio Affinity Propagation που εκτελεί πρώτα έναν κύκλο ασύγχρονων και κατανεμημένων υπολογισμών. Συγκρίσεις με reduce-error pruning, Kappa pruning, orientation pruning, JAM’s diversity pruning δείχνουν ότι η προτεινόμενη μέθοδος μπορεί να επιλέξει τα καλύτερα δίκτυα, με λιγότερους υπολογισμούς και δίχως ο αριθμός τους να δίνεται ως παράμετρος. Στο κεφ. 9 προτείνεται μία κατανεμημένη μηχανή επιτροπής βασισμένη σε probabilistic neural network (PNN) όπου στο στρώμα προτύπων του PNN το κάθε νευρωνικό δίκτυο ειδικεύεται σε ξεχωριστή κλάση δεδομένων. Η ιεραρχική μάθηση αντιμετωπίζεται με ένα νέο ιεραρχικό Μαρκοβιανό Radial Basis Function neural network στο κεφ. 10. Σε κάθε επίπεδο οι κρυφοί νευρώνες του ιεραρχικού νευρωνικού δικτυού αποτελούνται από άλλα πλήρως εμφωλευμένα νευρωνικά δίκτυα. Έτσι η λειτουργία του είναι μία συνάρτηση αναδρομής ίδια σε όλα τα επίπεδα. Για τους αλγόριθμους τοπικής μάθησης στο κεφ. 11, που δημιουργούν για διαφορετικά σημεία και διαφορετικά τοπικά μοντέλα νευρωνικού δικτύου, βασιζόμενοι στα κοντινότερα δεδομένα εκπαίδευσης, εξετάζουμε τα Regularization Networks. Δείχνεται ότι για την ελάττωση των χρόνων υπολογισμού και βελτιστοποίησης των παραμέτρων τους, η καθολική βελτιστοποίηση, με ένα σύνολο παραμέτρων κοινό για όλα τα δίκτυα, παράγει καλύτερα αποτελέσματα ταχύτητας και ακρίβειας από την βελτιστοποίηση, με ένα σύνολο παραμέτρων ξεχωριστό για κάθε δίκτυο.