Ανάπτυξη μεθόδων ασαφούς συσταδοποίησης για τη μοντελοποίηση νευρωνικών δικτύων συναρτήσεων ακτινικής βάσης

Abstract

In the present doctoral thesis takes place inquiring effort in the training of Neural Networks and concretely the Radial Basis Function Neural Networks – RBFNN. For the training of radial basis function neural networks were used algorithms of fuzzy clustering. Five new methods for the training of radial basis function neural networks were developed and have been published in international scientific conferences and journals. The contribution of this doctoral dissertation is that systematic research was conducted with a view to exploring the use of fuzzy clustering in training of radial basis functions neural networks. Within the framework of the research we focused on the analysis of advantages and disadvantages and the effective impact of fuzzy clustering in the process of training of this type of neural networks.The result of this research is to develop in the first level of three simple methods for clustering fuzzy neural networks for the training of radial basis functions. Concretely in the first method, was used the very known method of fuzzy c-means (FCM) for the preprocessing of the training data and then the method of weighted fuzzy c-means (FCM) for the calculation of the core parameters of the neural network hidden nodes. In the second method, was used the optimal clustering for the determination of the number of cores of radial basis functions as well as the parameters of neural network. Finally, we proposed a new method that combines input-output fuzzy clustering and optimal fuzzy clustering for the efficient design of radial basis function neural networks.In second level, were developed two innovative methods for the training of radial basis function neural networks. Concretely in first method is proposed a new innovator hybrid method of clustering, which combines in a uniform fashion crisp and fuzzy clustering for the calculation of the neural network core parameters. The second proposed method uses information granulation for the calculation of the core centers and a new metric distance for the calculation of widths of the radial basis functions. In all the proposed methods became practical application in real models and functions approximation, the results of which showed that the proposed methods produce reliable, precise and compact radial basis function neural networks. The comparison with the international bibliography showed that RBF networks that was created have better results with regard to the mean square error – MSE as well as the normalized mean square error – NRMSE so much for training data as long as for the test data.

Στην παρούσα διδακτορική διατριβή λαμβάνει χώρα ερευνητική προσπάθεια στην εκπαίδευση (training) Νευρωνικών Δικτύων και συγκεκριμένα των Νευρωνικών Δικτύων Συναρτήσεων Ακτινικής Βάσης (Radial Basis Function Neural Networks – RBFNN). Για την εκπαίδευση των Νευρωνικών Δικτύων Συναρτήσεων Ακτινικής Βάσης χρησιμοποιήθηκαν αλγόριθμοι ασαφούς συσταδοποίησης (fuzzy clustering). Αναπτύχθηκαν πέντε νέες καινοτόμοι μέθοδοι εκπαίδευσης νευρωνικών δικτύων συναρτήσεων ακτινικής βάσης και οι οποίες έχουν δημοσιευθεί στα πρακτικά διεθνών επιστημονικών συνεδρίων καθώς και σε έγκυρα διεθνή περιοδικά. Η συνεισφορά της παρούσης διδακτορικής διατριβής είναι ότι διεξήχθη συστηματική έρευνα με σκοπό την διερεύνηση της χρήσης της ασαφούς συσταδοποίησης στην εκπαίδευση νευρωνικών δικτύων συναρτήσεων ακτινικής βάσης. Στο πλαίσιο της έρευνας εστιάσαμε στην ανάλυση των πλεονεκτημάτων και των μειονεκτημάτων καθώς και της ουσιαστικής επίδρασης της ασαφούς συσταδοποίησης στην διαδικασία εκπαίδευσης τέτοιου τύπου νευρωνικών δικτύων. Το αποτέλεσμα της εν’ λόγω έρευνας συνίσταται στην ανάπτυξη σε πρώτο επίπεδο τριών απλών μεθόδων ασαφούς συσταδοποίησης για την εκπαίδευση νευρωνικών δικτύων συναρτήσεων ακτινικής βάσης. Συγκεκριμένα στην πρώτη μέθοδο, χρησιμοποιήθηκε η πολύ γνωστή μέθοδος των Ασαφών c-Μέσων (FCM) για την προεπεξεργασία των δεδομένων και στη συνέχεια η μέθοδος των σταθμισμένων (weighted) Ασαφών c-Μέσων (FCM) για τον υπολογισμό των παραμέτρων των πυρήνων των κρυφών κόμβων του νευρωνικού δικτύου. Στη δεύτερη μέθοδο, χρησιμοποιήθηκε η βέλτιστη συσταδοποίηση (optimal clustering) για τον καθορισμό του αριθμού των πυρήνων των συναρτήσεων ακτινικής βάσης καθώς και τον παραμέτρων του νευρωνικού δικτύου. Τέλος προτάθηκε μια τρίτη μέθοδος που συνδυάζει ασαφή συσταδοποίηση και τη βέλτιστη ασαφή συσταδοποίηση για τον αποτελεσματικό σχεδιασμό νευρωνικών δικτύων συναρτήσεων ακτινικής βάσης. Σε δεύτερο επίπεδο, αναπτύχθηκαν δύο καινοτόμες μέθοδοι εκπαίδευσης νευρωνικών δικτύων συναρτήσεων ακτινικής βάσης. Συγκεκριμένα στην πρώτη μέθοδο προτείνεται μια νέα καινοτόμος υβριδική μέθοδος συσταδοποίησης, η οποία συνδυάζει με ομοιόμορφο τρόπο την διακριτή (crisp) και την ασαφή (fuzzy) συσταδοποίηση (clustering) για τον υπολογισμό των παραμέτρων των πυρήνων των συναρτήσεων ακτινικής βάσης του νευρωνικού δικτύου. Η δεύτερη προτεινόμενη μέθοδος χρησιμοποιεί κοκκοποίηση πληροφορίας (information granulation) για τον υπολογισμό των κέντρων των πυρήνων των συναρτήσεων ακτινικής βάσης και μία νέα μετρική απόσταση (metric distance) για τον υπολογισμό των πλατών των συναρτήσεων ακτινικής βάσης. Σε όλες τις προτεινόμενες μεθόδους έγινε πρακτική εφαρμογή σε πραγματικά μοντέλα και σε προσεγγίσεις συναρτήσεων, τα αποτελέσματα των οποίων έδειξαν ότι οι προτεινόμενες μέθοδοι παράγουν αξιόπιστα, ακριβή και συμπαγή νευρωνικά δίκτυα συναρτήσεων ακτινικής βάσης. Η σύγκριση με την διεθνή βιβλιογραφία έδειξε ότι τα δίκτυα RBF που δημιουργήθηκαν έχουν καλύτερα αποτελέσματα όσον αφορά το μέσο τετραγωνικό σφάλμα (mean square error – MSE) καθώς και το κανονικοποιημένο μέσο τετραγωνικό σφάλμα (normalized mean square error – NRMSE) τόσο για τα δεδομένα εκπαίδευσης (training data) όσο για τα δεδομένα δοκιμής (test data).