Συστήματα αυτόματης οργάνωσης κειμένων με βάση το περιεχόμενο και το ύφος

Abstract

Αντικείμενο της παρούσας εργασίας είναι η μελέτη και υλοποίηση συστημάτων ικανών να κατηγοριοποιούν με αυτόματο τρόπο κείμενα γραμμένα σε ελληνική γλώσσα. Η κατηγοριοποίηση μπορεί να αφορά στο θεματικό περιεχόμενο της συλλογής κειμένων, αλλά μπορεί και να βασίζεται σε άλλου είδους κριτήρια διαχωρισμού, όπως, παραδείγματος χάριν, η αναγνώριση-ταυτοποίηση του συγγραφέα, τα οποία καθορίζονται από τις ανάγκες του εκάστοτε χρήστη. Τα συστήματα που αναπτύχθηκαν προσαρμόζονται εύκολα στο εκάστοτε σύνολο δεδομένων προς επεξεργασία χωρίς να απαιτούνται αλλαγές στην υλοποίησή τους. Χρησιμοποιούν μόνο ένα σύνολο δεδομένων εκπαίδευσης βάσει του οποίου προσπαθούν να επιλύσουν το πρόβλημα. Σημειωτέον ότι τα εν λόγω συστήματα εφαρμόσθηκαν σε πραγματικά δεδομένα, έτσι ώστε τα αποτελέσματα της συγκεκριμένης έρευνας να είναι αξιοποιήσιμα σε πρακτικά προβλήματα. Η παρούσα εργασία αποσκοπεί στην ανάπτυξη μεθόδων για την αποτελεσματική εξαγωγή πληροφορίας από κειμενικά δεδομένα, με αυτόνομο τρόπο, με στόχο την ανάλυση των κειμένων αυτών και τη διευκόλυνση της ανάκτησης πληροφορίας. Για το λόγο αυτό αξιοποιούνται τεχνικές από τους τομείς της στατιστικής, αλλά και της εκμάθησης μηχανών, οι οποίες επιτρέπουν την αυτόματη εξαγωγή μορφολογικής ή σημασιολογικής πληροφορίας από κείμενα (ο όρος «αυτόματη εξαγωγή» υποδηλώνει ότι η λειτουργία αυτή θα πραγματοποιηθεί με την ελάχιστη δυνατή ανθρώπινη παρέμβαση/καθοδήγηση). Τεχνικές από τους χώρους αυτούς αξιοποιήθηκαν για το διαχωρισμό των κειμένων Βάσει των χαρακτηριστικών των συγγραφέων τους. Για τον προσδιορισμό των αποτελεσματικότερων τεχνικών μελετήθηκαν διάφορες εναλλακτικές μέθοδοι Βασισμένες κυρίως σε βιολογικά μοντέλα. Τέλος, σημαντικό ρόλο στην παρούσα εργασία διαδραμάτισαν γλωσσολογίας μελέτες (κάποιες από τις οποίες έχουν υλοποιηθεί και από το ΙΕΑ/Ε.Κ. ΑΘΗΝΑ), με βάση τις οποίες προσδιορίσθηκαν τα πιο πρόσφορα χαρακτηριστικά για την αποτύπωση του ύφους. Τα συστήματα που αναπτύχθηκαν αποσκοπούσαν στην επίτευξη δύο διακριτών στόχων: α) την αυτόματη κατηγοριοποίηση κειμένων με Βάση το δημιουργό τους και β) την αυτόματη κατηγοριοποίηση κειμένων ανάλογα με το θεματικό τους περιεχόμενο, δηλαδή το θέμα που πραγματεύονται. Για το λόγο αυτό διεξήχθησαν μία σειρά από διαφορετικά είδη πειραμάτων πάνω σε ποικίλα σύνολα δεδομένων, κατάλληλα χαρακτηρισμένων ώστε να είναι συμβατά με τους επιθυμητούς στόχους κάθε πειράματος. […]