Development of deep learning methods on big data with a focus on natural language processing

Abstract

The rapid proliferation of large-scale biomedical and natural language data has created both unprecedented opportunities and persistent challenges for Artificial Intelligence (AI). Deep Learning (DL) methods are particularly powerful for modeling sequential and heterogeneous data, yet their deployment in practice is limited by missing data, computational overhead, and the demand for domain-specific adaptation. This dissertation investigates these challenges and proposes novel DL methodologies that extend the state of the art in both biomedical prediction and Natural Language Processing (NLP). In the biomedical domain, a framework for predictive precision medicine has been developed using longitudinal Electronic Health Records (EHRs). The framework incorporates Recurrent Neural Networks (RNNs), Ensemble Learning strategies, and robust imputation techniques to improve the stability and accuracy of clinical risk prediction. This work further examines the impact of medication data and patient adherence, demonstrating how these factors influence predictive performance in real-world healthcare settings. In the NLP domain, three distinct contributions are made. First, transformer-based models are applied to large-scale social media data, and a sentiment change detection pipeline is introduced to track public opinion shifts during the COVID-19 pandemic. Second, the thesis addresses the emerging problem of distinguishing human-authored text from AI-generated text, presenting a transfer learning approach that achieves high accuracy and generalizes across domains ranging from scientific abstracts to book reviews. Third, a scalable and energy-efficient framework for topic modeling is introduced, integrating hierarchical clustering with targeted Large Language Model (LLM) prompting to deliver coherent topics while substantially reducing computational cost. Collectively, these contributions demonstrate how DL can be adapted to diverse forms of large-scale sequential data while emphasizing robustness, interpretability, and efficiency. The thesis advances methodological innovation and establishes new applications across healthcare, social media, and scientific text mining. Ultimately, this work underscores the imperative of developing DL systems that are not only accurate but also efficient and grounded in real-world constraints.

Η ραγδαία αύξηση της διαθεσιμότητας μεγάλης κλίμακας βιοϊατρικών δεδομένων και γλωσσικών δεδομένων έχει ανοίξει νέους ορίζοντες αλλά και έχει αναδείξει επίμονες δυσκολίες για την Τεχνητή Νοημοσύνη. Οι τεχνικές Βαθιάς Μάθησης έχουν αποδειχθεί ιδιαίτερα αποτελεσματικές στη διαχείριση ακολουθιακών και ετερογενών δεδομένων, ωστόσο η αξιοποίησή τους στην πράξη συχνά περιορίζεται από τα ελλιπή δεδομένα, τις αυξημένες υπολογιστικές ανάγκες και την απαίτηση προσαρμογής σε εξειδικευμένα πεδία. Η παρούσα διατριβή εξετάζει συστηματικά τα παραπάνω ζητήματα και εισάγει νέες μεθοδολογικές προσεγγίσεις Βαθιάς Μάθησης, οι οποίες διευρύνουν το υφιστάμενο επίπεδο της τεχνολογίας τόσο στη βιοϊατρική πρόβλεψη όσο και στην Επεξεργασία Φυσικής Γλώσσας. Στον χώρο της βιοϊατρικής, προτείνεται ένα ολοκληρωμένο πλαίσιο προγνωστικής ιατρικής ακριβείας που βασίζεται σε διαχρονικά δεδομένα Ηλεκτρονικών Φακέλων Υγείας. Το πλαίσιο συνδυάζει αναδρομικά νευρωνικά δίκτυα, τεχνικές συνδυαστικής μάθησης και προηγμένες μεθόδους αντιμετώπισης ελλιπών τιμών, με στόχο την ενίσχυση της αξιοπιστίας και της ακρίβειας στην πρόβλεψη κλινικού κινδύνου. Παράλληλα, διερευνάται ο ρόλος των φαρμακευτικών πληροφοριών και της συμμόρφωσης των ασθενών, αναδεικνύοντας τη σημασία τους για την προγνωστική απόδοση σε πραγματικές συνθήκες υγειονομικής περίθαλψης. Στον τομέα της Επεξεργασίας Φυσικής Γλώσσας, η διατριβή συνεισφέρει σε τρία διακριτά επίπεδα. Αρχικά, αξιοποιούνται μοντέλα μετασχηματιστών σε μεγάλης κλίμακας δεδομένα από μέσα κοινωνικής δικτύωσης και εισάγεται ένας μηχανισμός ανίχνευσης μεταβολών στο συναίσθημα, με σκοπό την παρακολούθηση της εξέλιξης της κοινής γνώμης κατά την περίοδο της πανδημίας του COVID-19. Στη συνέχεια, αντιμετωπίζεται το σύγχρονο ζήτημα της διάκρισης μεταξύ ανθρωπογενούς και τεχνητά παραγόμενου κειμένου, μέσω μιας προσέγγισης μεταφοράς μάθησης που επιτυγχάνει υψηλή ακρίβεια και παρουσιάζει ισχυρή γενίκευση σε διαφορετικά είδη κειμένων, από επιστημονικές περιλήψεις έως κριτικές βιβλίων. Τέλος, προτείνεται ένα επεκτάσιμο και ενεργειακά αποδοτικό σύστημα θεματικής μοντελοποίησης, το οποίο συνδυάζει ιεραρχική ομαδοποίηση με στοχευμένες εντολές σε Μεγάλα Γλωσσικά Μοντέλα, επιτυγχάνοντας την παραγωγή συνεκτικών θεμάτων με σημαντικά μειωμένο υπολογιστικό κόστος. Συνοψίζοντας, τα ευρήματα της διατριβής αποδεικνύουν ότι η Βαθιά Μάθηση μπορεί να προσαρμοστεί αποτελεσματικά σε διαφορετικές μορφές ακολουθιακών Μεγάλων Δεδομένων, με έμφαση τόσο στην ερμηνευσιμότητα όσο και στην αποδοτικότητα. Η εργασία συμβάλλει στη μεθοδολογική πρόοδο του πεδίου, εισάγει νέες εφαρμογές στην ανάλυση δεδομένων υγείας, στα μέσα κοινωνικής δικτύωσης και στα επιστημονικά κείμενα, και αναδεικνύει την ανάγκη για ανάπτυξη συστημάτων Βαθιάς Μάθησης που συνδυάζουν υψηλή ακρίβεια με υπολογιστική οικονομία, ανταποκρινόμενα στους περιορισμούς του πραγματικού κόσμου.