Deep neural networks for information mining from legal texts

Abstract

Legal text processing (Ashley, 2017) is a growing research area where Natural Language Processing (NLP) techniques are applied in the legal domain. There are several applications such as legal text segmentation (Mencia, 2009; Hasan et al., 2008), legal topic classification (Mencia and Fürnkranzand, 2007; Nallapati and Manning, 2008), legal judgment prediction and analysis (Wang et al., 2012; Aletras et al., 2016), legal information extraction (Kiyavitskaya et al., 2008; Dozier et al., 2010; Asooja et al., 2015), and legal question answering (Kim et al., 2015b, 2016b). These applications and relevant NLP techniques arise from three main sub-domains, i.e, legislation, court cases, and legal agreements (contracts). In all three sub-domains, documents are much longer than in most other modern NLP applications. They also have different characteristics concerning the use of language, the writing style, and their structuring, compared to non-legal text. Given the rapid growth of deep learning technologies (Goodfellow et al., 2016; Goldberg, 2017), the goal of this thesis is to explore and advance deep learning methods for legal tasks, such as contract element and obligation extraction, legal judgment prediction, legal topic classification, and information retrieval, that have already been discussed in the literature (but not in the context of deep learning) or that were first addressed during the work of this thesis. In this direction, we aim to answer two main research questions: First and foremost on the adaptability of neural methods that have been proposed for related NLP tasks in other domains and how they are affected by legal language, writing, and structure; and second on providing explanations of neural models’ decisions (predictions). Considering the first research question we find and highlight several cases, where either legal language affects a model’s performance or suitable modeling is needed to imitate the document structure. To this end, we pre-train and use in-domain word representations and neural language models, while we also propose new methods with state-of-the-art performance. With respect to model explainability, we initially experiment with saliency (attention) heat-maps and highlight their limitations as a means for the explanation of the model’s decisions, especially in the most challenging task of legal judgment prediction, where it is most important. To overcome these limitations we further study rationale extraction techniques as a prominent methodology towards model explainability.In lack of publicly available annotated datasets in order to experiment with deep learning methods, we curate and publish five datasets for various legal tasks (contract element extraction, legal topic classification, legal judgment prediction and rationale extraction, and legal information retrieval), while we also publish legal word embeddings and a legal pre-trained language model to assist legal text processing research and development. We consider our work, a first, fundamental, step among other recent efforts, towards improving legal natural language understanding using state-of-the-art deep learning techniques, which further promotes the adaptation of new technologies and sheds light on the emerging field of legal text processing.

Η επεξεργασία νομικού κειμένου (Ashley, 2017) είναι ένας αναπτυσσόμενος τομέας έρευνας όπου οι τεχνικές επεξεργασίας φυσικής γλώσσας (NLP) εφαρμόζονται στον νομικό τομέα. Υπάρχουν πολλές εφαρμογές όπως η τμηματοποίηση νομικού κειμένου (Mencia, 2009; Hasan et al., 2008), η κατηγοριοποίηση εγγράφων σε νομικά θέματα (Mencia and Fürnkranzand, 2007; Nallapati and Manning, 2008), η πρόβλεψη και ανάλυση δικαστικών αποφάσεων (Wang et al. 2012; Aletras et al., 2016), η εξαγωγή νομικών πληροφοριών (Kiyavitskaya et al., 2008; Dozier et al., 2010; Asooja et al., 2015) και η νομική ανάκτηση πληροφορίας (Kim et al., 2015b, 2016b). Αυτές οι εφαρμογές και οι σχετικές τεχνικές NLP προέρχονται από τρεις κύριους υποτομείς: τη νομοθεσία, τις δικαστικές υποθέσεις και τις νομικές συμβάσεις (contracts). Και στους τρεις υποτομείς, τα έγγραφα είναι πολύ μεγαλύτερα από ό, τι στις περισσότερες άλλες σύγχρονες εφαρμογές NLP. Έχουν επίσης διαφορετικά χαρακτηριστικά σχετικά με τη χρήση της γλώσσας, τον τρόπο γραφής και τη δομή τους, σε σύγκριση με μη νομικό κείμενο. Δεδομένης της ταχείας ανάπτυξης τεχνολογιών βαθιάς μάθησης (Goodfellow et al., 2016; Goldberg, 2017), ο στόχος αυτής της διατριβής είναι να διερευνήσει και να αναπτύξει μεθόδους βαθιάς μάθησης για νομικές εφαρμογές, όπως εξαγωγή πληροφοριών και υποχρεώσεων από συμβάσεις, πρόβλεψη νομικής κρίσης, νομική κατηγοριοποίηση και ανάκτηση πληροφοριών, που έχουν ήδη συζητηθεί στη βιβλιογραφία (αλλά όχι στο πλαίσιο της βαθιάς μάθησης) ή που εξετάστηκαν για πρώτη φορά κατά τη διάρκεια της εργασίας αυτής της διατριβής. Σε αυτήν την κατεύθυνση, στοχεύουμε να απαντήσουμε δύο βασικά ερευνητικά ερωτήματα: Πρώτα απ 'όλα σχετικά με την προσαρμοστικότητα των μεθόδων, οι οποίες βασίζονται σε νευρωνικά δίκτυα και έχουν προταθεί για συναφή εφαρμογές NLP σε άλλους τομείς και τον τρόπο με τον οποίο επηρεάζονται από τη νομική γλώσσα, τη γραφή και τη δομή. Και δεύτερον σχετικά με την παροχή εξηγήσεων για τις αποφάσεις (προβλέψεις) των νευρωνικών δικτύων. Λαμβάνοντας υπόψη το πρώτο ερευνητικό ερώτημα επισημαίνουμε πολλές περιπτώσεις, όπου είτε η νομική γλώσσα επηρεάζει την απόδοση ενός μοντέλου, είτε απαιτείται κατάλληλη μοντελοποίηση επί της δομή του εγγράφου. Για τον σκοπό αυτό, προ-εκπαιδεύουμε και χρησιμοποιούμε αναπαραστάσεις λέξεων και γλωσσικά μοντέλα, τα οποία είναι εξειδικευμένα για την νομική γλώσσα, ενώ προτείνουμε επίσης νέες μεθόδους με καλύτερες επιδόσεις. Όσον αφορά την επεξήγηση των αποφάσεων, αρχικά πειραματιζόμαστε με γραφήματα προσοχής (attention heatmaps) και επισημαίνουμε τους περιορισμούς τους ως μέσο για την εξήγηση των αποφάσεων ενός μοντέλου, ιδιαίτερα στην πρόβλεψης δικαστικών αποφάσεων, όπου είναι πιο σημαντικό. Για να ξεπεράσουμε αυτούς τους περιορισμούς, μελετάμε περαιτέρω τις τεχνικές εξαγωγής ερμηνειών ως εξέχουσα μεθοδολογία για την επεξήγηση των αποφάσεων ενός μοντέλου. Ελλείψει δημόσια διαθέσιμων επισημειωμένων συνόλων δεδομένων για να πειραματιστούμε με μεθόδους βαθίας μάθησης, επιμελούμε και δημοσιεύουμε πέντε σύνολα δεδομένων για διάφορες νομικές εφαρμογές (εξαγωγή στοιχείων σύμβασης, κατηγοριοποίηση εγγράφων σε νομικά θέματα, πρόβλεψη νομικής κρίσης και εξαγωγή ερμηνειών, και ανάκτηση νομικών πληροφοριών), ενώ δημοσιεύουμε επίσης νομικές αναπαραστάσεις λέξεων και ένα νομικό προ-εκπαιδευμένο γλωσσικό μοντέλο για να βοηθήσουμε την έρευνα και ανάπτυξη της νομικής επεξεργασίας κειμένου. Θεωρούμε τη δουλειά μας, ένα πρώτο, θεμελιώδες, βήμα μεταξύ άλλων πρόσφατων προσπαθειών, προς τη βελτίωση της κατανόησης της νομικής γλώσσας χρησιμοποιώντας προηγμένες τεχνικές βαθιάς μάθησης, η οποία προωθεί περαιτέρω την προσαρμογή των νέων τεχνολογιών και ρίχνει φως στον αναδυόμενο τομέα της νομικής επεξεργασία κειμένου.