Development of a medical decision support system using advanced machine learning and data mining techniques in Nuclear Medicine

Abstract

Deep Learning (DL) has become dominant in computer vision and its applications are broadly met in several domains. Image and video processing, object detection, object segmentation, and image/video synthesis are some of the most popular applications of DL. DL has attained remarkable results in such fields and has proven to be superior to conventional Machine Learning (ML) methods.DL’s innovation lies in massive and automatic feature extraction. In contrary with ML, it enables the automatic extraction of millions of potential significant features from any kind of input source. Before the era of Deep Learning, feature extraction was constrained. DL networks are endowed with methods to achieve both feature extraction and feature assessment, thereby reaching to decisions by filtering out some of the irrelevant extracted features. The advances in computational capabilities over the recent years have catalyzed the implementation of DL, even in tasks where ML has undeniable success already. DL can leverage modern computers and advance further.In Medical Imaging, the applications of DL have not reached their full potential. Several studies report innovative DL solutions to achieve medical image classification, segmentation, registration and synthesis. However, medical images are a disparate source of information. Unlike conventional images, a medical image contains sensitive information, intricate tissues, bone and organ structures, and ambiguous entities. Subsequently, DL implementations are rigorous and the medical experts are often reluctant to relying their decisions on DL-based frameworks. Despite DL’s progress, it is still acting as a black-box, which raises several concerns among the medical community. Medicine needs explainable solutions, total transparency in decision-making, and accountability. In this context, an increasing amount of research papers are suggesting technical solutions to aid to this matter, which is often met as “interpretability”, or eXplainable Artificial Intelligence (XAI). Nevertheless, DL is enjoying some praise in medical image detection, segmentation, reconstruction and processing tasks. Those tasks do not involve sophisticated decision-making procedures necessarily, but are a preliminary step to decision-making, which is still offered by the human experts. From a technical point of view, medical image classification is more naïve compared to detection and segmentation. However, it is more challenging. The reason is that the classification task involves much more than isolating and segmenting objects. It requires some level of reasoning and cognition of the biological, chemical and physical processes to accurately and transparently classify an image, especially when the important high-level features are not visible by the human eye.The main objective of the thesis is to explore the benefits of DL for various medical imaging tasks, such as image classification and data augmentation. Five sub-studies are analytically conducted, presented and discussed. The main focus of the doctoral thesis is lung cancer, and more specifically, Solitary Pulmonary Nodule (SPN) characterisation, as well as Cardiovascular Diseases, and more specifically, the Coronary Artery Disease (CAD). The study involves data acquired from the PET scanner and the SPECT scanner of the Laboratory of Nuclear Medicine of the University Hospital of Patras.Firstly, the challenge of SPN malignancy characterisation based-on PET/CT images is addressed. The experiments include classification based on 2D SPN images using transfer learning with Convolutional Neural Networks (CNN), which are the cornerstone of DL methods in imaging tasks. In addition, Generative Adversarial Networks (GANs) are employed to synthesise new SPN representations that serve as additional data and improve the learning horizons of the DL methods. Finally, a 3D DL model is proposed to assess the malignancy of SPNs using volumetric data, which are extracted from multiple 2D PET/CT slices. The results verify that DL models compete with the human eye and show great agreement with the medical experts. In this context, transfer learning and GANs are proved to be remarkable methods for medical image classification and data augmentation tasks. Next, the study involves experiments for CAD diagnosis based on 2D Polar Maps acquired from a Myocardial Perfusion Imaging (MPI) SPECT system. In this particular study, a multi-input DL framework is designed to handle both image and clinical information for CAD diagnosis. This framework achieved impressive agreement with the human experts.Finally, the study provides insights on the quality and the usefulness of the extracted image features. To this end, extensive experiments focused on potential biomarker detection and discovery, are conducted. Eleven biomedical imaging datasets are employed to assess DL’s capabilities in classification, feature visualisation, and decision explanation. For those tasks, feature activation maps and other visualisation methods are employed. The experiments revealed that DL methods can mine significant features that could potentially serve as image biomarkers. However, the interpretation of those features’ nature is constrained, because DL models still lack transparency. In addition, it is observed that some features are difficult to reproduce. Those aspects need further attention by the research community in order for DL to evolve into a robust, transparent and reliable strategy for medical image purposes. The present Doctoral Thesis paves a way towards the development of Medical Decision Support systems for assisting the Nuclear Medicine staff with medical image interpretation. The developed frameworks show significant potential and great agreement ratings with the supervising experts. Finally, they are ready for deployment in real-time routine for further evaluation.

Οι εφαρμογές της Βαθιάς Μάθηση (ΒΜ) συναντώνται σε πολλούς τομείς ανθρώπινης δραστηριότητας. Η επεξεργασία εικόνας και βίντεο, η ανίχνευση αντικειμένων, η τμηματοποίηση αντικειμένων, η σύνθεση εικόνας και βίντεο είναι μερικές από τις πιο δημοφιλείς εφαρμογές της ΒΜ. Η ΒΜ έχει επιτύχει αξιοσημείωτα αποτελέσματα σε σχετικές εργασίες και έχει αποδειχθεί ότι είναι ανώτερη από τις συμβατικές μεθόδους Μηχανικής Μάθησης (ΜΜ).Η καινοτομία της ΒΜ έγκειται στην εξαγωγή χαρακτηριστικών/ιδιοτήτων. Σε αντίθεση με τη ΜΜ, επιτρέπει την αυτόματη εξαγωγή εκατομμυρίων πιθανών σημαντικών χαρακτηριστικών από κάθε είδους δεδομένα εισόδου. Πριν από την εποχή της Βαθιάς Μάθησης, η εξαγωγή χαρακτηριστικών ήταν περιορισμένη. Τα δίκτυα ΒΜ διαθέτουν μεθόδους για την επίτευξη τόσο της εξαγωγής χαρακτηριστικών όσο και της αξιολόγησης χαρακτηριστικών, φτάνοντας έτσι σε αποφάσεις φιλτράροντας μερικές από τις άσχετες εξαγόμενες πληροφορίες. Το καινοτόμο της μεθόδου είναι το γεγονός ότι τα δεδομένα εισόδου υπόκεινται σε επεξεργασία όχι ως τέτοια, αλλά δημιουργούνται πολλές αναπαραστάσεις τους μέσω μαθηματικών διαδικασιών. Αυτές οι αναπαραστάσεις είναι η πηγή των αναρίθμητων ιδιοτήτων – χαρακτηριστικών που εξάγονται από την εικόνα. Η ΜΜ και η ΒΜ εξειδικεύονται σε μη-γραμμικά προβλήματα, γι αυτό και η αξιοποίησή τους στον τομέα των ιατρικών εικόνων είναι υποσχόμενη.Η πρόοδος της υπολογιστικής ισχύος και οι δυνατότητες των υπολογιστών τα τελευταία χρόνια έχουν ευνοήσει την εφαρμογή της ΒΜ, ακόμη και σε εργασίες όπου η ΜΜ έχει ήδη αδιαμφισβήτητη επιτυχία. Η ΒΜ μπορεί να αξιοποιήσει σύγχρονους υπολογιστές και να εξελιχθεί περισσότερο στο κοντινό μέλλον.Στην Ιατρική Απεικόνιση, οι εφαρμογές του ΒΜ είναι ακόμη θεωρητικές σε πολλές περιπτώσεις. Αρκετές μελέτες αναφέρουν καινοτόμες λύσεις ΒΜ για την επίτευξη ταξινόμησης, κατάτμησης, καταχώρισης και σύνθεσης ιατρικής εικόνας. Ωστόσο, οι ιατρικές εικόνες είναι μια διαφορετική πηγή πληροφοριών. Σε αντίθεση με τις συμβατικές εικόνες, μια ιατρική εικόνα περιέχει ευαίσθητες πληροφορίες, περίπλοκους ιστούς, δομές οστών και οργάνων, και ευαίσθητες πληροφορίες. Επίσης, οι εφαρμογές ΒΜ είναι αυστηρές και οι ιατροί εμπειρογνώμονες συχνά διστάζουν να βασίσουν τις αποφάσεις τους κάνοντας χρήση των πληροφοριών που εξάγονται από μοντέλα ΒΜ. Παρά την πρόοδο της ΒΜ, εξακολουθεί να λειτουργεί ως μαύρο κουτί, το οποίο εγείρει αρκετούς προβληματισμούς. Η ιατρική χρειάζεται εξηγήσιμες λύσεις, πλήρη διαφάνεια στη λήψη αποφάσεων και υπευθυνότητα. Σε αυτό το πλαίσιο, ένας αυξανόμενος αριθμός ερευνητικών εργασιών προτείνει τεχνικές λύσεις για να βοηθήσει αυτό το θέμα, το οποίο συχνά αντιμετωπίζεται ως "ερμηνευσιμότητα".Παρ 'όλα αυτά, η ΒΜ έχει ήδη σημαντικά αποτελέσματα, έστω και σε ερευνητικό επίπεδο στην κατάτμηση, την ανακατασκευή και την επεξεργασία δεδομένων τόσο από εικόνα όσο και από ήχο, κείμενο και κλινικά δεδομένα. Οι παραπάνω εφαρμογές δεν περιλαμβάνουν απαραίτητα εξελιγμένες διαδικασίες λήψης αποφάσεων, αλλά αποτελούν ένα προκαταρκτικό βήμα στη λήψη αποφάσεων, το οποίο εξακολουθεί να προσφέρεται από τους ειδικούς.Από τεχνική άποψη, η ταξινόμηση της ιατρικής εικόνας είναι πιο απλή σε σύγκριση με την ανίχνευση και την κατάτμηση. Ωστόσο, από ιατρικής σκοπιάς, είναι πολύ πιο σημαντική και πολύ πιο σύνθετη διαδικασία. Ο λόγος είναι ότι η ταξινόμηση περιλαμβάνει πολύ περισσότερα από τον εντοπισμό και την αποκοπή αντικειμένων (π.χ. οστών, μαζών). Απαιτεί κάποιο επίπεδο συλλογισμού και γνώσης των βιολογικών, χημικών και φυσικών διεργασιών προκειμένου να ταξινομηθεί με ακρίβεια και διαφάνεια μια εικόνα, ειδικά όταν τα σημαντικά χαρακτηριστικά υψηλού επιπέδου δεν είναι ορατά από το ανθρώπινο μάτι.Ο κύριος στόχος της διδακτορικής εργασίας είναι να διερευνήσει τα οφέλη της ΒΜ στην ιατρική απεικόνιση, όπως η ταξινόμηση και η τεχνητή σύνθεση νέων εικόνων. Η παρούσα εργασία αποτελείται από πέντε υπο-μελέτες, οι οποίες παρουσιάζονται διεξοδικά. Εξάλλου, η ερμηνεία των αποτελεσμάτων των επιλεγμένων βαθιών μοντέλων είναι υποχρεωτική, ειδικά από ιατρική άποψη, αφού οι εφαρμογές των συγκεκριμένων μεθόδων βρίσκονται στην ανθρώπινη υγεία. Για το σκοπό αυτό, η μελέτη περιλαμβάνει επίσης ένα εμπεριστατωμένο πειραματικό σύνολο επικεντρωμένο στην πιθανή ανίχνευση και ανακάλυψη βιοδεικτών χρησιμοποιώντας μεθόδους ΒΜ. Ο κύριος στόχος της διδακτορικής διατριβής είναι ο καρκίνος του πνεύμονα, και πιο συγκεκριμένα, ο χαρακτηρισμός του Μονήρους Πνευμονικού Όζου (ΜΠΟ), καθώς και οι Καρδιαγγειακές Παθήσεις, και πιο συγκεκριμένα, η Στεφανιαία Νόσος (ΣΝ).Μέσα από ένα εκτεταμένο σύνολο πειραμάτων, τα αποτελέσματα επαληθεύουν τη σημασία του ΒΜ στον χαρακτηρισμό των ΜΠΟ και στη διάγνωση της ΣΝ, επιτυγχάνοντας να ανταγωνιστεί την ανθρώπινη όραση. Μια βαθύτερη εικόνα της διαδικασίας εξαγωγής χαρακτηριστικών των μεθόδων ΒΜ αποκαλύπτει ορισμένες σοβαρές αδυναμίες, όπως αδύναμη αναπαραγωγιμότητα χαρακτηριστικών και ερμηνεία χαρακτηριστικών. Αυτές οι πτυχές χρήζουν περαιτέρω προσοχής από την ερευνητική κοινότητα προκειμένου η ΒΜ να εξελιχθεί σε μια στιβαρή, διαφανή και αξιόπιστη στρατηγική για σκοπούς ιατρικής εικόνας.Τα μοντέλα που αναπτύχθηκαν στην παρούσα εργασία παρουσιάζουν αξιοσημείωτα αποτελέσματα ως προς τη συμφωνία τους με τους γιατρούς. Γι αυτό και θα μπορούσαν να αξιοποιηθούν σε συστήματα λήψης ιατρικών αποφάσεων και είναι έτοιμα για αξιολόγηση σε πραγματικές συνθήκες.