Εξόρυξη και διαχείριση σημασιολογικής πληροφορίας στον παγκόσμιο ιστό

Abstract

The Semantic Web introduces a novel way of accessing and managing information on the Internet. The main concept behind this approach is the notion of machine understandable information, accomplished by explicitly describing data elements as well as their interrelationships. The focus of this dissertation is the main technologies capable of transforming the Semantic Web vision into a reality. It concentrates on technologies enabling the discovery of semantic data on the Web (crawling), semantic databases, semantic querying and techniques to rank semantic query results. The current state of the art is reviewed for each one of the above technologies and a novel approach is presented and implemented, the advantages of which are compared with the existing solutions. More specifically, for the discovery of semantic data on the WWW, an agent?ecosystem was designed and developed, which involves agents able to locate and remember areas of the Web that contain semantic data. These agents are also capable of exchanging information between them, regarding their recent discoveries, in order to optimize the system’s performance. In the area of semantic data storage, a novel approach is proposed that relies on objectoriented databases instead of relational ones. db4OWL, a prototype system, specifically designed to store OWL (Web Ontology Language) data using an object database was created. It should be noted that at the time of this writing, db4OWL is the only persistent storage system that natively supports OWL. To retrieve information, a querying mechanism was developed that allows users or software agents to express semantic queries directly in OWL, without the need for an intermediate query language like the ones used in similar systems. Querying semantic data in their native language is far more intuitive for users, while also allowing for more detailed and precise queries. Furthermore, successfull and time?tested ranking principles from commercial search engines can be adapted and used in the system on semantic data. This is achieved through an open architecture that allows different algorithms to complement each other while focusing on different ranking factors. OWLRank, an adaptation of Google’s PageRank algorithm for semantic data, demonstrates this feature. Finally, the compatibility and interoperability of the proposed approaches is demonstrated by integrating them in order to form a Semantic Search Engine prototype

Ο Σημασιολογικός Ιστός (Semantic Web) υπόσχεται έναν διαφορετικό τρόπο διαχείρισης και πρόσβασης στις πληροφορίες του Διαδικτύου. Η κεντρική ιδέα στην οποία βασίζεται το όραμα του Σημασιολογικού Ιστού είναι η κατανόηση των πληροφοριών από τους ίδιους τους υπολογιστές μέσω της περιγραφής των ίδιων των δεδομένων και των σχέσεων μεταξύ τους. Αντικείμενο αυτής της διατριβής είναι οι κύριες τεχνολογίες που μπορούν κάνουν πραγματικότητα αυτόν το νέο τρόπο πληροφόρισης. Η διατριβή επικεντρώνεται στις τεχνολογίες ανακάλυψης σημασιολογικών δεδομένων στον Παγκόσμιο Ιστό, στις σημασιολογικές βάσεις δεδομένων, στα σημασιολογικά ερωτήματα και στην κατάταξη σημασιολογικών αποτελεσμάτων. Για κάθε μια από αυτές τις τεχνολογίες παρουσιάζονται οι διαθέσιμες προσεγγίσεις ενώ στη συνέχεια δίνεται και υλοποιείται μια καινοτόμος λύση, τα πλεονεκτήματα της οποίας συγκρίνονται με τις υπάρχουσες τεχνολογίες. Συγκεκριμένα, για την ανακάλυψη σημασιολογικών δεδομένων στον Παγκόσμιο Ιστό σχεδιάστηκε και αναπτύχθηκε ένα οικοσύστημα πρακτόρων λογισμικού οι οποίοι έχουν την ικανότητα εντοπισμού και εκμάθησης των περιοχών του WWW που περιέχουν σημασιολογικά δεδομένα, καθώς και τη δυνατότητα να ανταλλάσουν μεταξύ τους πληροφορίες σχετικά με τις πρόσφατες ανακαλύψεις του καθενός. Σε ότι αφορά την αποθήκευση σημασιολογικών δεδομένων, σχεδιάστηκε και υλοποιήθηκε ένα σύστημα που χρησιμοποιεί αντικειμενοστρεφείς βάσεις για την αποθήκευση σημασιολογικών γράφων της OWL το οποίο ονομάστηκε db4OWL. Αξίζει να σημειωθεί, πως αυτό είναι το μόνο σύστημα ειδικά σχεδιασμένο για αποθήκευση δεδομένων OWL. Για την αναζήτηση πληροφοριών, αναπτύχθηκε ένας μηχανισμός σημασιολογικών ερωτημάτων εκφρασμένων απευθείας σε γλώσσα OWL χωρίς την ανάγκη χρήσης μιας ενδιάμεσης γλώσσας ερωτημάτων, όπως γινόταν μέχρι σήμερα σε παρόμοια συστήματα. Η έκφραση σημασιολογικών ερωτημάτων στη φυσική τους γλώσσα απλοποιεί σημαντικά τη χρήση του συστήματος ενώ παράλληλα αυξάνει την ακρίβεια των ερωτημάτων. Επίσης, το σύστημα επιτρέπει την μετατροπή και χρήση δοκιμασμένων μεθόδων κατάταξης αποτελεσμάτων (όπως ο αλγόριθμος PageRank του Google) σε σημασιολογικά δεδομένα. Αυτό επιτυγχάνεται με την χρήση μιας ανοιχτής αρχιτεκτονικής όπου διαφορετικοί αλγόριθμοι μπορούν να δουλεύουν συμπληρωματικά, λαμβάνοντας υπόψη διαφορετικούς παράγοντες κατάταξης. Στο τέλος της διατριβής παρουσιάζεται η συμβατότητα και διαλειτουργικότητα των σημασιολογικών τεχνολογιών με την ενσωμάτωσή τους σε ένα ενιαίο σύστημα Σημασιολογικής Μηχανής Αναζήτησης