Ανάπτυξη αλγορίθμων υπολογιστικής νοημοσύνης και εφαρμογές στην εξέλιξη του παγκόσμιου ιστού

Abstract

Computational intelligence (CI) is a branch of artificial intelligence, which is based on imitating elements of intelligence exhibited by living organisms and offers techniques that are capable of solving complex problems that could not be solved by using conventional methodologies. The objective of this doctoral dissertation is the development of novel algorithms belonging to the field of computational intelligence, which are capable of handling numerical, categorical and mixed attributes, while providing improved predictive abilities when compared to conventional methodologies. The computational intelligence techniques which constitute the basic tools used in this dissertation are the radial basis function (RBF) neural networks, the evolutionary simulated annealing (ESA) technique and the particle swarm optimization (PSO) algorithm. As far as numerical attributes are concerned, 3 novel RBF network training algorithms where developed in this dissertation, with the ability to perform full network optimization by concurrently determining all the RBF parameters. The first algorithm, namely PSO-NSFM, is based on the non symmetric fuzzy means (NSFM) algorithm, which is enhanced by a PSO optimization engine, in order to optimize the fuzzy partition of the input space. The PSO-NSFM algorithm produces RBF models with simpler structures, while at the same time exhibiting higher prediction accuracy in shorter computational times, when compared to standard machine learning techniques. The second algorithm which was developed for handling numerical inputs, namely COOP-VW, optimizes the construction of RBF networks trained with the NSFM algorithm, based on a cooperative PSO (CPSO) framework. The COOP-VW algorithm allows for using variable-width basis functions, which increase the flexibility of the produced models. The result is an additional improvement in prediction accuracy, albeit at the cost of a relatively small increase of the computational cost, when compared to the PSO-NSFM technique. The third algorithm which was developed, namely ESA-NSFM, is based on a modification of the ESA technique, in order to optimize the RBF models produced by the NSFM algorithm. The ESA-NSFM algorithm produces RBF network models of increased prediction accuracy compared to standard machine learning techniques, and at the same time offers fast operational parameter customization. Using algorithms similar to those mentioned above, the basic RBF network structure can handle numeric inputs with great success; however, it is unable to deal with categorical, or mixed data. In order to solve this problem, two novel neural network architectures were developed within this doctoral dissertation. The first one, namely CRBF networks, is an expansion of RBF networks, providing them with the ability of handling categorical data. This is accomplished by using categorical tuples as RBF centers, while the categorical center selection (CCS) algorithm is also proposed for training these networks. The second neural network architecture that was developed, namely MRBF networks, is capable of handling mixed data. In fact, MRBF networks are essentially a synthesis of RBF and CRBF networks, and are trained with a novel methodology which combines the fuzzy means algorithm and the CCS technique. Due to their ability to handle in a different manner the nature of numerical and categorical data, MRBF networks can provide solutions with increased prediction accuracy, in contrast to the methodologies that are inherently designed for a single type of data. Moreover, because of the simple and fast training algorithm that they use, MRBF networks are suitable to handle big data. All the aforementioned methods were evaluated on a large number of benchmark datasets, derived from a variety of scientific fields, including function approximation and classification problems. Results and comparisons with a wide range of machine learning methods, including different neural network methods, support vector machines (SVMs), naïve Bayes classifiers, decision trees, random forest trees, etc., highlight the effectiveness of the proposed approaches. In addition, at the level of application, a novel intelligent system was developed with the ability to automatically classify web pages based on their content. The latter is a generic tool for web page classification which offers satisfactory precision and is able to classify a webpage depending on functional, genre, subject classification, etc. This system was called MRBF-WPC and adopts the MRBF neural network architecture and web mining tools. Applying this system to a widely used dataset of webpages and comparing it with other methods, has shown that the system provides increased accuracy in classifying web pages. Thus, the MRBF-WPC system is an integrated tool that can be used as the basis for enrichment of the web content with metadata, and thus, for the World Wide Web growth into the Semantic Web.

Η υπολογιστική νοημοσύνη (computational intelligence, CI) αποτελεί έναν κλάδο της τεχνητής νοημοσύνης που βασίζεται στη μίμηση στοιχείων ευφυΐας που παρατηρούνται στα έμβια όντα και προσφέρει τεχνικές ικανές να επιλύουν πολύπλοκα προβλήματα που δεν θα μπορούσαν να επιλυθούν με συμβατικές μεθοδολογίες. Το αντικείμενο της παρούσας διδακτορικής διατριβής είναι η ανάπτυξη νέων αλγορίθμων που εντάσσονται στο πεδίο της υπολογιστικής νοημοσύνης, και παρουσιάζουν τη δυνατότητα χειρισμού αριθμητικών, κατηγορικών και μικτών μεταβλητών, παρέχοντας βελτιωμένες ικανότητες πρόβλεψης σε σχέση με συμβατικές μεθοδολογίες. Οι τεχνικές που ανήκουν στον κλάδο της υπολογιστικής νοημοσύνης και αποτελούν βασικά εργαλεία της παρούσας διατριβής είναι τα νευρωνικά δίκτυα ακτινικής συνάρτησης βάσης (radial basis function, RBF), η τεχνική εξελικτικής προσομοιωμένης ανόπτησης (evolutionary simulated annealing, ESA) και ο αλγόριθμος βελτιστοποίησης σμήνους σωματιδίων (particle swarm optimization, PSO). Σε ότι αφορά στον χειρισμό αριθμητικών εισόδων, στα πλαίσια της παρούσας διατριβής αναπτύχθηκαν 3 νέοι αλγόριθμοι εκπαίδευσης νευρωνικών δικτύων RBF, οι οποίοι επιτυγχάνουν την πλήρη βελτιστοποίηση των τελευταίων, με ταυτόχρονο προσδιορισμό όλων των παραμέτρων τους. Ο πρώτος αλγόριθμος που αναπτύχθηκε, ονομάστηκε PSO-NSFM και βασίζεται στον μη συμμετρικό αλγόριθμο των ασαφών μέσων (non symmetric fuzzy means, NSFM), ο οποίος ενισχύεται με έναν μηχανισμό βελτιστοποίησης PSO, προκειμένου να βελτιστοποιηθεί η ασαφής διαμέριση του χώρου εισόδου. Ο αλγόριθμος PSO-NSFM παράγει μοντέλα RBF που παρουσιάζουν απλούστερες δομές και ταυτόχρονα μεγαλύτερη ακρίβεια πρόβλεψης σε μικρότερους υπολογιστικούς χρόνους, έναντι καθιερωμένων τεχνικών μηχανικής μάθησης. Ο δεύτερος αλγόριθμος που αναπτύχθηκε για χειρισμό αριθμητικών εισόδων ονομάστηκε COOP-VW και βελτιστοποιεί την κατασκευή δικτύων RBF που εκπαιδεύονται με τον αλγόριθμο NSFM, με βάση ένα συνεργατικό πλαίσιο PSO (cooperative PSO, CPSO). Ο αλγόριθμος COOP-VW επιτρέπει τη χρήση συναρτήσεων βάσης μεταβλητού εύρους, που αυξάνουν την ευελιξία των παραγόμενων μοντέλων, με αποτέλεσμα την περαιτέρω αύξηση της ακρίβειας πρόβλεψης, αλλά με σχετικά μικρή αύξηση του υπολογιστικού κόστους σε σχέση με την τεχνική PSO-NSFM. Ο τρίτος αλγόριθμος που αναπτύχθηκε ονομάστηκε ESA-NSFM και προσαρμόζει την τεχνική ESA με στόχο τη βελτιστοποίηση των μοντέλων RBF που παράγονται από τον αλγόριθμο NSFM. O αλγόριθμος ESA-NSFM παράγει μοντέλα δικτύων RBF, τα οποία παρουσιάζουν αυξημένη ακρίβεια πρόβλεψης σε σχέση με τις καθιερωμένες τεχνικές μηχανικής μάθησης, και ταυτόχρονα εύκολη επιλογή λειτουργικών παραμέτρων. Χρησιμοποιώντας αλγόριθμους όπως αυτοί που αναφέρθηκαν προηγουμένως, η βασική δομή των δικτύων RBF είναι σε θέση να χειριστεί με μεγάλη επιτυχία αριθμητικά δεδομένα εισόδου, ωστόσο εμφανίζει προβλήματα στον χειρισμό κατηγορικών ή μικτών δεδομένων. Προκειμένου να επιλυθεί αυτό το πρόβλημα, στα πλαίσια αυτής της διδακτορικής διατριβής αναπτύχθηκαν δύο νέες αρχιτεκτονικές νευρωνικών δικτύων. Η πρώτη από αυτές, ονομάστηκε CRBF και αποτελεί επέκταση των δικτυών RBF, δίνοντας στα τελευταία τη δυνατότητα χειρισμού κατηγορικών δεδομένων. Αυτό επιτυγχάνεται χρησιμοποιώντας κατηγορικές πλειάδες ως κέντρα RBF, ενώ παράλληλα προτείνεται και ο αλγόριθμος categorical center selection (CCS) για την εκπαίδευση αυτών των δικτύων. Ο αλγόριθμος αυτός είναι ιδιαίτερα απλός και παρουσιάζει μεγάλη ταχύτητα εκτέλεσης, καθώς χρησιμοποιεί μόνο ένα πέρασμα των δεδομένων. Η δεύτερη αρχιτεκτονική νευρωνικών δικτύων που αναπτύχθηκε ονομάστηκε MRBF και έχει την ικανότητα να χειρίζεται μικτά δεδομένα. Τα δίκτυα MRBF ουσιαστικά αποτελούν συνδυασμό των δικτύων RBF και CRBF, και εκπαιδεύονται με μία νέα μεθοδολογία η οποία βασίζεται στον αλγόριθμο των ασαφών μέσων και στην τεχνική CCS. Τα δίκτυα MRBF, λόγω της ικανότητας τους να λαμβάνουν υπόψη ξεχωριστά τη φύση των αριθμητικών και των κατηγορικών δεδομένων, μπορούν να δώσουν λύσεις με αυξημένη ακρίβεια πρόβλεψης σε σχέση με μεθοδολογίες που είναι εγγενώς φτιαγμένες για έναν μόνο τύπο δεδομένων, ενώ, λόγω του απλού και γρήγορου αλγορίθμου εκπαίδευσης που χρησιμοποιούν, ενδείκνυνται για εφαρμογή σε σύνολα δεδομένων μεγάλου όγκου (big data). Όλες οι μέθοδοι που προαναφέρθηκαν, αξιολογήθηκαν σε ένα μεγάλο πλήθος συνόλων δεδομένων τύπου benchmark, που προέρχονται από ποικίλα επιστημονικά πεδία, και περιλαμβάνουν προβλήματα προσέγγισης συνάρτησης και ταξινόμησης. Τα αποτελέσματα και οι συγκρίσεις με ένα ευρύ φάσμα μεθόδων μηχανικής μάθησης, που περιλαμβάνουν διαφορετικές μεθόδους νευρωνικών δικτύων, μηχανές διανυσμάτων υποστήριξης (support vector machines, SVMs), ταξινομητές Bayes, δέντρα αποφάσεων, ταξινομητές τυχαίων δασών (random forest trees), κ.α., καταδεικνύουν την αποτελεσματικότητα των προτεινόμενων αλγορίθμων. Επιπλέον, σε ότι αφορά στο επίπεδο της εφαρμογής, στα πλαίσια της παρούσας διατριβής, αναπτύχθηκε ένα νέο ευφυές σύστημα με την ικανότητα αυτόματης ταξινόμησης ιστοσελίδων με βάση το περιεχόμενό τους, το οποίο αποτελεί ένα εργαλείο γενικής χρήσης για την ταξινόμηση ιστοσελίδων με ικανοποιητική ακρίβεια και μπορεί για παράδειγμα να ταξινομήσει μία ιστοσελίδα ανάλογα με τη λειτουργία της, το είδος της, τη θεματική περιοχή της, κ.α. Το σύστημα αυτό ονομάστηκε MRBF-WPC και υιοθετεί τα νευρωνικά δίκτυα MRBF και στοιχεία από τον κλάδο της εξόρυξης γνώσης στον ιστό. Η εφαρμογή του συστήματος σε ένα ευρέως χρησιμοποιούμενο σύνολο ιστοσελίδων και η σύγκριση με άλλες μεθόδους, έδειξε ότι το σύστημα παρέχει αυξημένη ακρίβεια πρόβλεψης ως προς την ταξινόμηση των ιστοσελίδων. Έτσι, το σύστημα MRBF-WPC είναι ένα ολοκληρωμένο εργαλείο που μπορεί να χρησιμοποιηθεί ως βάση για τον εμπλουτισμό του περιεχομένου του ιστού με μεταδεδομένα, και άρα για την εξέλιξη του παγκόσμιου ιστού σε σημασιολογικό ιστό.