Παραλληλοποιημένη Μπεϋζιανή βελτιστοποίηση σε βαθιά μάθηση

Περίληψη

Η εκπαίδευση σε βαθιά νευρωνικά δίκτυα (ΒΝΔ) είναι μια απαραίτητη διαδικασία στη μηχανική μάθηση. Η διαδικασία εκπαίδευσης των ΒΝΔ στοχεύει στη βελτιστοποίηση των τιμών των παραμέτρων του δικτύου, που συχνά βασίζεται στην παράγωγο των λογαριθμικών πιθανοτήτων των παραμέτρων. Ως εκ τούτου, είναι πολύ πιθανό η διαδικασία βελτιστοποίησης να βρει τοπικές βέλτιστες τιμές αντί για καθολικές. Επιπλέον, οι συμβατικές προσεγγίσεις που χρησιμοποιούνται για αυτή τη διαδικασία, όπως οι μέθοδοι Μαρκοβιανής αλυσίδας Μόντε Κάρλο, όχι μόνο προσφέρουν μη βέλτιστη απόδοση χρόνου εκτέλεσης, αλλά επίσης αποτρέπουν την αποτελεσματική παραλληλοποίηση λόγω εγγενών εξαρτήσεων στη διαδικασία. Σε αυτή τη διατριβή, εξετάζουμε μια εναλλακτική προσέγγιση στις μεθόδους Μαρκοβιανής αλυσίδας Μόντε Κάρλο (Markov Chain Monte Carlo, MCMC), τον δειγματολήπτη ακολουθιακών Μόντε Κάρλο (Sequential Monte Carlo, SMC), ο οποίος γενικεύει τα φίλτρα σωματιδίων (particle filters). Πιο συγκεκριμένα, η διατριβή εστιάζει στη βελτίω ...
περισσότερα

Περίληψη σε άλλη γλώσσα

Training of deep neural networks (DNN) is an indispensable process in machine learning. The training process of DNNs aims to optimise the parameter values of the network, often relies on the derivative of the log-likelihoods of the underlying parameter space. As such, it is highly probable that the optimisation process to find local optimum values instead of the global ones. In addition to this, conventional approaches used for this process, such as Markov chain Monte Carlo methods, not only offer suboptimal runtime performance, but also prevent effective parallelisation due to inherent dependencies in the process. In this thesis, we consider an alternative approach to Markov chain Monte Carlo (MCMC) methods, namely the Sequential Monte Carlo (SMC) sampler, which generalises particle filters. More specifically, the thesis focuses on improving the performance and accuracy of the SMC methods, particularly in the context of fully Bayesian learning. The Radial Basis Function (RBF) network ...
περισσότερα

Όλα τα τεκμήρια στο ΕΑΔΔ προστατεύονται από πνευματικά δικαιώματα.

DOI
10.12681/eadd/50829
Διεύθυνση Handle
http://hdl.handle.net/10442/hedi/50829
ND
50829
Εναλλακτικός τίτλος
Parallelised Bayesian optimisation for deep learning
Συγγραφέας
Κεκεμπάνος, Λυκούργος του Κωνσταντίνος
Ημερομηνία
2018
Ίδρυμα
University of Liverpool
Εξεταστική επιτροπή
Hendeby Gustaf
Diaz Alejandro
Maskell Simon
Επιστημονικό πεδίο
Φυσικές ΕπιστήμεςΕπιστήμη Ηλεκτρονικών Υπολογιστών και Πληροφορική ➨ Τεχνητή νοημοσύνη
Επιστήμες Μηχανικού και ΤεχνολογίαΕπιστήμη Ηλεκτρολόγου Μηχανικού, Ηλεκτρονικού Μηχανικού, Μηχανικού Η/Υ ➨ Αυτοματισμοί και Συστήματα ελέγχου
Λέξεις-κλειδιά
Μαρκοβιανή αλυσίδα Μόντε Κάρλο; Ακολουθιακοί μέθοδοι Μόντε Κάρλο; Βελτιστοποίηση; Παραλληλοποίηση; Νευρωνικά δίκτυα; Βαθιά μάθηση
Χώρα
Ηνωμένο Βασίλειο
Γλώσσα
Αγγλικά
Στατιστικά χρήσης
ΠΡΟΒΟΛΕΣ
Αφορά στις μοναδικές επισκέψεις της διδακτορικής διατριβής.
Πηγή: Google Analytics.
ΞΕΦΥΛΛΙΣΜΑΤΑ
Αφορά στο άνοιγμα του online αναγνώστη.
Πηγή: Google Analytics.
ΜΕΤΑΦΟΡΤΩΣΕΙΣ
Αφορά στο σύνολο των μεταφορτώσων του αρχείου της διδακτορικής διατριβής.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.
ΧΡΗΣΤΕΣ
Αφορά στις μοναδικές επισκέψεις της διδακτορικής διατριβής.
Πηγή: Εθνικό Αρχείο Διδακτορικών Διατριβών.