Αυτόματη περίληψη κειμένου: μηχανική μάθηση και σημασιολογικές τεχνικές

Abstract

The constantly growing amount of textual information has led to the development of automatic text summarization, which constitutes an important research area in natural language processing. The current research that is conducted in this field is mainly focused on developing machine learning approaches, without, in most cases, considering the combination of machine learning models with other techniques based on natural language processing, which could contribute to further improvement in this field. In view of this research gap, the present dissertation focuses on the field of abstractive text summarization of single documents, examining deep learning architectures and presenting new methodologies that combine machine learning and semantic-based techniques in order to improve automatic text summarization. The contribution of the dissertation includes; (i) the investigation of deep learning architectures for automatic text summarization, (ii) a novel methodology that is based on semantic content transformations and machine learning to address the problem of managing new content, without sufficient presence in the training set of a machine learning model, (iii) a new framework that combines methodology of semantic content representation and deep learning, towards the production of summaries with semantic content relevance and (iv) a set of metrics that provides a qualitative assessment of the estimated summaries.The first part covers the investigation of a range of deep learning architectures for estimating a sequence of words that composes the summary of an original text. These architectures include encoder-decoder recurrent neural networks, reinforcement learning, transformer-based architectures, and pre-trained neural language models.The second part presents a novel framework that is based on semantic content transformations along with machine learning predictions. The proposed framework is capable of dealing with the problem of out-of-vocabulary or rare words, improving the performance of the deep learning models. The framework is composed of three components; a pre-processing task, a machine learning methodology and a post-processing task. The pre-processing task is based on a well-defined theoretical model of semantic-based content generalization, which utilizes ontological knowledge resources, word-sense-disambiguation and named-entity recognition to transform ordinary text into a generalized form. A range of deep learning models is trained on a generalized version of text-summary pairs, learning to predict summaries in a generalized form. The post-processing task utilizes knowledge resources, word embeddings, word-sense disambiguation and heuristic algorithms based on text similarity methods to transform the generalized version of a predicted summary into a final, human-readable form. The third part includes a novel approach that combines semantic graph representations along with deep learning predictions to generate abstractive summaries of single documents, in an effort to utilize a semantic representation of the unstructured textual content in a machine-readable, structured, and concise manner. The main contribution of this approach includes; the graph-to-summary formulation of the problem of abstractive text summarization using deep learning techniques, the examination of a range of deep learning models, and the investigation of semantic graph-based representation schemes. The overall framework is based on a well-defined methodology for performing semantic graph parsing, graph construction, graph transformations for machine learning models, and deep learning predictions. This approach organizes unstructured textual information through a semantic representation of the content, in an effort to improve machine learning predictions and provide semantically relevant summaries.Another important contribution is an introduction of a set of measures for assessing the factual consistency of the generated summaries in an effort to provide a qualitative evaluation. These measures provide a weighted evaluation value, according to the length of an original text and the system summary, by determining the semantic overlap between the information contained in the generated summary and the original text. The new set of metrics can contribute to the evaluation and improvement of automatic text summarization systems.The approaches presented were theoretically defined, implemented and experimentally investigated. Considering the research conducted, the novel methodology, the positive results and the useful conclusions may contribute to further improvement of intelligent systems in the field of automatic text summarization.

Η συνεχώς αυξανόμενη πληροφορία κειμένου έχει οδηγήσει στην ανάπτυξη έντονης ερευνητικής δραστηριότητας στο πεδίο της αυτόματης περίληψης κειμένου, το οποίο αποτελεί έναν σημαντικό ερευνητικό τομέα της επεξεργασίας φυσικής γλώσσας. Η έρευνα, που διεξάγεται σήμερα στο πλαίσιο της αυτόματης περίληψης κειμένου, επικεντρώνεται κυρίως σε ανάπτυξη προσεγγίσεων μηχανικής μάθησης, χωρίς, τις περισσότερες φορές, να εξετάζεται ο συνδυασμός μοντέλων μηχανικής μάθησης με άλλες τεχνικές που βασίζονται σε επεξεργασία φυσικής γλώσσας, οι οποίες θα μπορούσαν να συνεισφέρουν στην περαιτέρω βελτίωση του πεδίου αυτού. Με αφορμή το ερευνητικό αυτό κενό, η παρούσα διδακτορική διατριβή, με αντικείμενο την αυτόματη περίληψη κειμένου ενός εγγράφου με τη μέθοδο της παραγωγής κειμένου, εξετάζει αρχιτεκτονικές βαθιάς μάθησης και παρουσιάζει νέες μεθόδους που συνδυάζουν μηχανική μάθηση και σημασιολογικές τεχνικές, με σκοπό τη βελτίωση της αυτόματης περίληψης κειμένου. Η συνεισφορά της διατριβής περιλαμβάνει: (i) τη διερεύνηση αρχιτεκτονικών βαθιάς μάθησης για την αυτόματη περίληψη κειμένου, (ii) την πρόταση νέας μεθοδολογίας σημασιολογικών μετασχηματισμών του περιεχομένου και μηχανικής μάθησης για την αντιμετώπιση του προβλήματος της διαχείρισης νέου κειμένου, το οποίο δεν έχει επαρκή παρουσία στο σύνολο εκπαίδευσης ενός μοντέλου μηχανικής μάθησης, (iii) την εισαγωγή ενός νέου πλαισίου σημασιολογικής αναπαράστασης του περιεχομένου και βαθιάς μάθησης, προς την κατεύθυνση της παραγωγής περιλήψεων με σημασιολογική συνάφεια περιεχομένου και (iv) την παρουσίαση ενός συνόλου μετρικών για παροχή ποιοτικής αξιολόγησης του περιεχομένου των παραγόμενων περιλήψεων.Στο πρώτο μέρος η ερευνητική προσπάθεια εστιάζει στη διερεύνηση αρχιτεκτονικών βαθιάς μάθησης και προτείνει την αξιοποίηση κατάλληλων μοντέλων νευρωνικών δικτύων για την αυτόματη περίληψη κειμένου. Στην κατεύθυνση αυτή, διερευνώνται διαφορετικές αρχιτεκτονικές μοντέλων μηχανικής μάθησης, όπως είναι τα δίκτυα νευρωνικών δικτύων τύπου κωδικοποιητή-αποκωδικοποιητή, η ενισχυτική μάθηση, οι αρχιτεκτονικές μετασχηματιστών ή τα προεκπαιδευμένα μοντέλα γλωσσικής αναπαράστασης. Στη συνέχεια, η έρευνα εστιάζει στην ανάπτυξη ενός πλαισίου σημασιολογικών μετασχηματισμών του περιεχομένου, το οποίο δίνει λύσεις στο πρόβλημα των νέων υποψήφιων για περίληψη κειμένων, τα οποία περιλαμβάνουν περιεχόμενο που ενδεχομένως δεν έχει επαρκή παρουσία στο σύνολο εκπαίδευσης ενός μοντέλου μηχανικής μάθησης. Το προτεινόμενο πλαίσιο περιλαμβάνει τρία βασικά στάδια: την προ-επεξεργασία, τις προβλέψεις μηχανικής μάθησης και τη μετα-επεξεργασία. Το στάδιο της προ-επεξεργασίας βασίζεται σε μια καλά καθορισμένη μεθοδολογία γενίκευσης περιεχομένου, η οποία αξιοποιεί πόρους γνώσης, ταξινομίες εννοιών, σημασιολογική αποσαφήνιση έννοιας λέξεων και αναγνώριση ονοματικών οντοτήτων για τον μετασχηματισμό του περιεχομένου σε μια γενικευμένη μορφή. Η εφαρμογή της μεθοδολογίας γενίκευσης του περιεχομένου βελτιώνει την ακρίβεια των προβλέψεων μηχανικής μάθησης, με την παραγωγή περιλήψεων σε μια γενικευμένη μορφή. Το στάδιο της μετα-επεξεργασίας βασίζεται σε ευρεστικές μεθόδους, που αξιοποιούν αντίστοιχους πόρους γνώσης με εκείνους που χρησιμοποιούνται στη φάση της προ-επεξεργασίας, για τον μετασχηματισμό των γενικευμένων περιλήψεων στην τελική τους μορφή. Στο τρίτο μέρος, η ερευνητική προσπάθεια επικεντρώνεται στην αξιοποίηση της σημασιολογικής αναπαράστασης του περιεχομένου σε μορφή γραφήματος, σε συνδυασμό με προβλέψεις βαθιάς μάθησης για τη βελτίωση της αυτόματης περίληψης κειμένου, προς την κατεύθυνση της παραγωγής περιλήψεων με σημασιολογική συνάφεια περιεχομένου. Η κύρια συνεισφορά της προτεινόμενης μεθοδολογίας περιλαμβάνει τη μοντελοποίηση του προβλήματος ως ένα πρόβλημα μάθησης από γράφημα σε περίληψη με μεθόδους βαθιάς μάθησης, την παρουσίαση σημασιολογικών αναπαραστάσεων κειμένου σε μορφή γραφήματος και τη διερεύνηση της επίδοσης διαφορετικών αρχιτεκτονικών βαθιάς μάθησης σε συνδυασμό με διάφορα σχήματα δεδομένων. Η προτεινόμενη προσέγγιση βασίζεται σε ένα καλά καθορισμένο πλαίσιο για την ανάκτηση των σημασιολογικών γραφημάτων για κάθε περίοδο ενός αρχικού κειμένου, την κατασκευή του σημασιολογικού γραφήματος του περιεχομένου ενός κειμένου, τον μετασχηματισμό ενός σημασιολογικού γραφήματος σε κατάλληλη μορφή για είσοδο σε κάποιο μοντέλο μηχανικής μάθησης και τις προβλέψεις μηχανικής μάθησης. Η προσέγγιση αυτή οργανώνει τη μη δομημένη πληροφορία και αναπαριστά σημασιολογικά το περιεχόμενο, σε μια προσπάθεια βελτίωσης των προβλέψεων μηχανικής μάθησης και την παροχή περιλήψεων με σημασιολογική συνάφεια περιεχομένου.Προς την κατεύθυνση της παροχής μιας ποιοτικής αξιολόγησης για την αυτόματη περίληψη κειμένου, η παρούσα διατριβή προτείνει ένα νέο σύνολο μετρικών, οι οποίες προσδιορίζουν τη συνέπεια απόδοσης πληροφορίας των παραγόμενων περιλήψεων σε σχέση με το αρχικό κείμενο. Οι εν λόγω μετρικές παρέχουν μια σταθμισμένη τιμή αξιολόγησης, σύμφωνα με την έκταση του αρχικού κειμένου και της περίληψης συστήματος, προσδιορίζοντας τη σημασιολογική επικάλυψη μεταξύ της πληροφορίας που περιλαμβάνει η παραγόμενη περίληψη σε σχέση με το αρχικό κείμενο. Το νέο σύνολο μετρικών μπορεί να συνεισφέρει στην αξιολόγηση και βελτίωση των συστημάτων αυτόματης περίληψης κειμένου. Οι προσεγγίσεις που παρουσιάζονται, καθορίστηκαν θεωρητικά, υλοποιήθηκαν και διερευνήθηκαν πειραματικά. Στο πλαίσιο της πειραματικής διαδικασίας εξετάστηκαν σημαντικές πτυχές της προτεινόμενης μεθοδολογίας, καθώς, επίσης, διερευνήθηκε και συγκρίθηκε η επίδοση της εκάστοτε προσέγγισης με άλλες συναφείς εργασίες. Ο προσδιορισμός των βέλτιστων επιλογών, που οδηγούν στη βελτιστοποίηση της επίδοσης των προτεινόμενων λύσεων, τα θετικά αποτελέσματα, καθώς και τα συμπεράσματα, που προέκυψαν, αναδεικνύουν τα οφέλη της παρούσας ερευνητικής προσπάθειας, η οποία μπορεί να οδηγήσει στην περαιτέρω έρευνα για την ανάπτυξη ευφυών συστημάτων στον τομέα της αυτόματης περίληψης κειμένου.