RECURRENT HIGH ORDER NEURAL NETWORKS FOR LEARNING IN DYNAMIC ENVIRONMENTS

Abstract

IN THIS THESIS, THE APPLICABILITY OF RECURRENT HIGH ORDER NEURAL NETWORKS (RHONNS) WHEN USED IN IDENTIFICATION OF UNKNOWN NONLINEAR DYNAMICAL SYSTEMS IS EXAMINED. RHONNS ARE SHOWN TO BE CAPABLE OF APPROXIMATING-TO ANY DEGREE OF ACCURACY- A QUITE GENERAL CLASS OF NONLINEAR SYSTEMS. APPROPRIATE LEARNING LAWS-WHICH ARE BASED ON WELL KNOWN ADAPTIVE ROBUST PARAMETER ESTIMATION TECHNIQUES-ARECONSTRUCTED AND IT IS SHOWN THAT THESE LEARNING LAWS ARE GLOBALLY CONVERGENT,STABLE AND ROBUST; USING THESE LEARNING LAWS. THE IDENTIFICATION ERROR IS SHOWN TO CONVERGE TO A BALL CENTERED AT THE ORIGIN, AND WHOSE RADIUS CAN BE MADE ARBITRARILY SMALL BY INCREASING THE NUMBER OF RHONN HIGH ORDER CONNECTIONS. A TOTALLY NOVEL LEARNING LAW IS PROPOSED WHICH IS NOT ONLY CONVERGENT, STABLE AND ROBUST, BUT IS ALSO ENSURES EXPONENTIAL IDENTIFICATION ERROR CONVERGENCE FOR ANY RHONN ARCHITECTURE. IN OTHER WORDS, THE CONVERGENCE OF THE NEW LEARNING LAW IS INDEPENDENT OF THE NUMBER OF RHONN HIGH ORDER TERMS, AND, MOREOVER, SUCH A CONVERGENCE IS THE BEST THAT CAN BE ACHIEVED. AT LAST, WE MENTION THAT THERATE OF CONVERGENCE DEPENDS ON A DESIGN PARAMETER Γ, AND WE CAN MAKE THE RATEOF CONVERGENCE ARBITRARILY LARGE BY SIMPLY INCREASING Γ.

Σ'ΑΥΤΗΝ ΤΗΝ ΕΡΓΑΣΙΑ ΑΣΧΟΛΗΘΗΚΑΜΕ ΑΡΧΙΚΑ ΜΕ ΤΙΣ ΙΔΙΟΤΗΤΕΣ ΤΩΝ ΑΠΟΚΑΛΟΥΜΕΝΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΑΝΑΔΡΟΜΙΚΟΥ ΤΥΠΟΥ ΥΨΗΛΗΣ ΤΑΞΗΣ (ΝΔΑΤΥΤ) ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΚΑΤΑΛΛΗΛΑ ΘΕΩΡΗΤΙΚΑ ΕΡΓΑΛΕΙΑ ΑΠΟΔΕΙΚΝΥΟΥΜΕ ΟΤΙ ΤΑ ΝΔΑΤΥΤ ΜΠΟΡΟΥΝ ΝΑ ΠΡΟΣΕΓΓΙΣΟΥΝ ΟΠΟΙΟΔΗΠΟΤΕ ΣΥΝΕΧΕΣ ΔΥΝΑΜΙΚΟ ΣΥΣΤΗΤΜΑ. ΕΠΙΣΗΣ, ΠΡΟΤΕΙΝΟΥΜΕ ΑΛΓΟΡΙΘΜΟΥΣ ΜΑΘΗΣΗΣ ΓΙΑ ΤΑ ΝΔΑΤΥΤ ΟΙ ΟΠΟΙΟΙ ΣΥΓΚΛΙΝΟΥΝ ΣΤΟ ΟΛΙΚΟ ΕΛΑΧΙΣΤΟ. ΜΕΤΑ ΕΞΕΤΑΖΟΥΜΕ ΜΙΑ ΚΑΤΗΓΟΡΙΑ ΤΩΝ ΝΔΑΤΥΤ, ΤΑ ΑΠΟΚΑΛΟΥΜΕΝΑ ΒΑΘΜΩΤΑ ΝΔΑΤΥΤ (Β-ΝΔΑΤΥΤ). ΤΑ Β-ΝΔΑΤΥΤ ΔΙΑΤΗΡΟΥΝ ΤΙΣ ΙΔΙΟΤΗΤΕΣ ΠΡΟΣΕΓΓΙΣΗΣ ΚΑΙ ΜΑΘΗΣΗΣ ΤΩΝ ΝΔΑΤΥΤ, ΑΛΛΑ ΕΠΙΣΗΣ ΕΙΝΑΙ ΕΥΣΤΑΘΗ ΚΑΙ ΕΥΡΩΣΤΑ ΟΤΑΝ ΔΙΑΤΑΡΑΣΣΟΝΤΑΙ ΑΠΟ ΝΤΕΤΕΡΜΙΝΙΣΤΙΚΕΣ Η ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΤΑΡΑΧΕΣ. ΤΑ Β-ΝΔΑΤΥΤ ΜΠΟΡΟΥΝ ΝΑ ΧΡΗΣΙΜΟΠΟΙΗΘΟΥΝ ΣΕ ΠΛΗΘΟΣ ΕΦΑΡΜΟΓΩΝ ΟΠΩΣ ΠΡΟΣΕΓΓΙΣΗ ΣΥΣΤΗΜΑΤΩΝ, ΕΚΤΙΜΗΣΗ ΚΑΤΑΝΟΜΗΣ ΠΙΘΑΝΟΤΗΤΩΝ. ΕΚΤΙΜΗΣΗ ΙΔΙΟΤΗΤΩΝ ΕΥΣΤΑΘΕΙΑΣ ΣΥΣΤΗΜΑΤΩΝ, ΥΛΟΠΟΙΗΣΗ ΔΙΑΦΟΡΙΚΩΝ ΕΞΙΣΩΣΕΩΝ ΜΕ ΜΗ-ΓΡΑΜΜΙΚΑ ΚΥΚΛΩΜΑΤΑ. ΜΕΤΑ, ΕΝΑΣΝΕΟΣ ΝΟΜΟΣ ΜΑΘΗΣΗΣ ΓΙΑ ΤΑ ΝΔΑΤΥΤ ΠΡΟΤΕΙΝΕΤΑΙ, Ο ΟΠΟΙΟΣ ΑΠΟΔΕΙΚΝΥΕΤΑΙ ΟΤΙ ΕΧΕΙΤΗ ΒΕΛΤΙΣΤΗ (ΕΚΘΕΤΙΚΗ) ΣΥΓΚΛΙΣΗ. ΤΕΛΟΣ, ΔΙΝΕΤΑΙ ΕΝΑ ΘΕΩΡΗΜΑ ΣΥΓΚΛΙΣΗΣ ΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ KOHONEN, ΚΑΘΩΣ ΚΑΙ ΜΙΑ ΕΦΑΡΜΟΓΗ ΤΩΝ ΠΑΡΑΠΑΝΩ ΣΤΗΝ ΕΚΜΑΘΗΣΗ ΑΓΝΩΣΤΩΝ ΕΠΙΦΑΝΕΙΩΝ ΟΙ ΟΠΟΙΕΣ ΒΡΙΣΚΟΝΤΑΙ ΣΕ ΕΠΑΦΗ ΜΕ ΡΟΜΠΟΤΙΚΟΥΣ ΒΡΑΧΙΟΝΕΣ.