Ανάπτυξη και θεμελίωση νέων μεθόδων υπολογιστικής νοημοσύνης, ευφυούς βελτιστοποίησης και εφαρμογές

Abstract

Η παρούσα διατριβή ασχολείται με τη μελέτη, την ανάπτυξη και τη θεμελίωσηνέων μεθόδων Υπολογιστικής Νοημοσύνης και Ευφυούς Βελτιστοποίησης. Η πα-ρουσίαση των επιμέρους θεμάτων και αποτελεσμάτων της διατριβής αυτής οργανώ-νεται ως εξής:Στο Κεφάλαιο 2 παρουσιάζεται συνοπτικά το πεδίο της Υπολογιστικής Νοημο-σύνης και πραγματοποιείται μία σύντομη αναφορά στους τρεις κύριους κλάδουςτης, τον Εξελικτικό Υπολογισμό, τα Τεχνητά Νευρωνικά Δίκτυα και τα Ασαφή Συ-στήματα. Ιδιαίτερη έμφαση δίνεται στο κύριο συστατικό αυτών που είναι η Ευφυήςκαι Ολική Βελτιστοποίηση. Έτσι αναλύονται διεξοδικά δύο κλάσεις αλγορίθμων πουαποτελούν τις βασικές μεθοδολογίες της παρούσας διατριβής, οι ΔιαφοροεξελικτικοίΑλγόριθμοι (ΔΕΑ) και οι αλγόριθμοι Βελτιστοποίησης Σμήνους Σωματιδίων (ΒΣΣ).Τα επόμενα τέσσερα κεφάλαια αφιερώνονται στην παρουσίαση νέων, καινοτόμωνοικογενειών των αλγορίθμων ΒΣΣ και ΔΕΑ, για την επίλυση αριθμητικών προβλημά-των βελτιστοποίησης χωρίς περιορισμούς, έχοντας είτε ένα, είτε πολλαπλούς ολικούςβελτιστοποιητές. Όλες οι οικογένειες μεθόδων βασίζονται σε κοινές παρατηρήσειςτων δομικών χαρακτηριστικών των ΒΣΣ και ΔΕΑ, ενώ η κάθε προτεινόμενη οικογέ-νεια τις αξιοποιεί με διαφορετικό τρόπο, δημιουργώντας νέες, αποδοτικές μεθόδουςμε αρκετά ενδιαφέρουσες ιδιότητες και δυναμική.Συγκεκριμένα, στο Κεφάλαιο 3 παρουσιάζεται μία νέα οικογένεια στρατηγικώνμετάλλαξης Διαφοροεξελικτικών Αλγορίθμων η οποία εκμεταλλεύεται τη δυναμικήκαι τα χωρικά χαρακτηριστικά των Διαφοροεξελικτικών Αλγορίθμων. Έχοντας ως κί-νητρο το διαφορετικό τρόπο με τον οποίο συμπεριφέρονται διάφοροι τελεστές ανα-ζήτησης, προτείνεται ένα νέο πλαίσιο που ενσωματώνει χωρικές πληροφορίες τουπληθυσμού των ΔΕΑ, σε μια προσπάθεια να οδηγήσει αποτελεσματικά την εξέλιξητου προς τον ολικό ελαχιστοποιητή, χωρίς να θυσιάζει τις δυνατότητες αναζήτησηςτου αλγορίθμου. Πειραματικά αποτελέσματα και συγκρίσεις με άλλους ΔΕΑ δεί-χνουν ότι η προτεινόμενη οικογένεια μπορεί να βελτιώσει σημαντικά την απόδοσηαρκετών γνωστών ΔΕΑ.Το Κεφάλαιο 4 αφιερώνεται στην παρουσίαση μίας νέας οικογένειας υβριδικώνμεθοδολογιών μεταξύ των αλγορίθμων ΒΣΣ και ΔΕΑ. Κύριος στόχος της προτεινό-μενης οικογένειας είναι να αξιοποιεί και να συνδυάζει αποτελεσματικά τη δυναμικήκαι τα χαρακτηριστικά των αλγορίθμων που χρησιμοποιεί. Ειδικότερα, έχοντας ωςκίνητρο τη συμπεριφορά και τα χωρικά χαρακτηριστικά της κοινωνικής και γνωστι-κής εμπειρίας του σμήνους ενός αλγορίθμου ΒΣΣ, αναπτύσσεται ένα νέο υβριδικόπλαίσιο συνδυασμού και συνεργασίας μεταξύ των αλγορίθμων ΒΣΣ και των ΔΕΑ. Τονέο υβριδικό πλαίσιο έχει τη δυνατότητα να οδηγήσει αποτελεσματικά τη διαδικασίαεξέλιξης προς την περιοχή του ολικού βελτιστοποιητή. Συνδυασμός και συγκρίσειςπολλαπλών αλγορίθμων ΒΣΣ και ΔΕΑ, δείχνουν ότι το προτεινόμενο πλαίσιο είναιάκρος αποτελεσματικό, καθώς βελτιώνει την απόδοση των περισσότερων αλγορίθμωνπου συνδυάζει.Στο Κεφάλαιο 5 αναπτύσσονται νέες μέθοδοι ευφυούς βελτιστοποίησης οι οποίεςεκμεταλλεύονται τη συμπεριφορά και τα χαρακτηριστικά πολλαπλών αλγορίθμων.Συγκεκριμένα, χρησιμοποιώντας ιδέες από τη Θεωρία Φίλτρων και τη ΣτατιστικήΑναγνώριση Προτύπων, αναπτύσσεται ένα αυτο-προσαρμοζόμενο σχήμα επιλογήςviαλγορίθμων το οποίο μπορεί να παίρνει αποφάσεις σε πραγματικό χρόνο. Ως εκ τού-του, αναπτύσσονται δύο νέες καινοτόμες μέθοδοι οι οποίες χρησιμοποιούν αλγορίθ-μους από τις οικογένειες των Διαφοροεξελικτικών Αλγορίθμων και των ΑλγορίθμωνΒελτιστοποίησης Σμήνους Σωματιδίων. Η κάθε μέθοδος ενσωματώνει στη δομή τηςαλγορίθμους με διαφορετικά χαρακτηριστικά από μία οικογένεια αλγορίθμων, έτσιώστε να συνδυάσει τα πλεονεκτήματά και τη δυναμική τους. Εκτενή πειραματικάαποτελέσματα δείχνουν ότι ο προτεινόμενος συνδυασμός υπερτερεί της απόδοσηςτων αλγορίθμων που συνδυάζει.Στη συνέχεια, στο Κεφάλαιο 6 παρουσιάζονται νέες μέθοδοι για τον υπολογισμόπολλών ή όλων των βελτιστοποιητών μίας αντικειμενικής συνάρτησης. Βασισμένοιστην οικογένεια των Διαφοροεξελικτικών Αλγόριθμων, αναπτύσσονται καινοτόμεςστρατηγικές μετάλλαξης που είναι ικανές να εντοπίσουν αξιόπιστα και αποδοτικάπολλούς ή όλους τους ελαχιστοποιητές/μεγιστοποιητές μίας δοσμένης αντικειμενι-κής συνάρτησης. Συγκεκριμένα παρουσιάζονται στρατηγικές μετάλλαξης οι οποίεςενσωματώνουν στη δομή τους πληροφορίες από τον πληθυσμό τους καθώς εξελίσ-σεται, βασισμένες είτε σε πραγματικές χωρικές γειτονιές, είτε σε γειτονιές δεικτώνμε προκαθορισμένη τοπολογία. Πειραματικά αποτελέσματα δείχνουν ότι οι προ-τεινόμενες μεθοδολογίες είναι ικανές να οδηγήσουν τη διαδικασία εξέλιξης στηναξιόπιστη εύρεση και διατήρηση πολλαπλών βελτιστοποιητών μέχρι το τέλος τηςεξελικτικής διαδικασίας.Η παρουσίαση του ερευνητικού έργου στην παρούσα διατριβή ολοκληρώνεται μετο τρίτο μέρος στο οποίο περιλαμβάνεται το Κεφάλαιο 7. Σε αυτό το κεφάλαιο πραγ-ματοποιείται μελέτη και ανάπτυξη μεθόδων ολικής βελτιστοποίησης για την εκπαί-δευση Τεχνητών Νευρωνικών Δικτύων Υψηλής Τάξης, σε σειριακά και παράλληλαή/και κατανεμημένα υπολογιστικά συστήματα. Πιο συγκεκριμένα, προτείνεται καιμελετάται διεξοδικά η ικανότητα εκπαίδευσης των κλασικών ΔιαφοροεξελικτικώνΑλγορίθμων και των αλγορίθμων Βελτιστοποίησης Σμήνους Σωματιδίων, στην κλάσητων Πι-Σίγμα ΤΝΔ, περιορίζοντας τα βάρη των δικτύων σε ένα μικρού εύρους σύ-νολο ακέραιων τιμών, καθώς και χρησιμοποιώντας συναρτήσεις ενεργοποίησης κα-τώφλια. Πειραματικά αποτελέσματα σε γνωστά προβλήματα εκπαίδευσης τεχνητώννευρωνικών δικτύων δείχνουν ότι η διαδικασία εκπαίδευσης είναι γρήγορη, στα-θερή και αξιόπιστη, καθώς και ότι τόσο οι σειριακές, όσο και οι παράλληλες ή/καικατανεμημένες εκδόσεις των αλγορίθμων εκπαίδευσης παρουσιάζουν πολύ καλέςικανότητες γενίκευσης.Η διδακτορική διατριβή ολοκληρώνεται με το Κεφάλαιο 8 στο οποίο ανακεφα-λαιώνονται τα βασικά συμπεράσματα και η συνεισφορά της παρούσας διατριβής.