Enhancing medical imaging classification schemes with explainability properties

Abstract

At the beginning of a self-improving journey, a machine learning engineer worries about the performance of the machine learning pipeline which is mostly expressed in terms of bias error. The first step of maturation involves the acknowledgment of underfitting and overfitting as part of a machine learning process that involves only a small dataset, as a representative part of the a-priori knowledge, in order to solve a complex and multifactorial problem. Inevitably, a “mature” machine learning practitioner needs to grasp the importance of generalization, the corresponding variance, and irreducible errors, if he is bound to evolve into a “grown-up” machine learning expert. We learn to account for our work by measuring the performanceof a proposed methodology. It is a strong requirement that evaluation metrics such as accuracy, balanced accuracy, precision, recall, and others according to the nature of a machine learning task are retained at high values, but there exist equally significant aspects that need to be taken into consideration. Discovering the principal and auxiliary causes upon which a predictive model decides on one class in favor of another can be a powerfulsource of useful knowledge and, therefore, light should be shed on the inner mechanisms of decision-making. Naturally, the journey of self-improvement is a never-ending loop, as the realization of acquired knowledge leads to new unanswered questions.For this thesis, the maturation of the author with basic machine learning notions has evolved into a quest for developing machine learning approaches for image classification that, inherently or post-hoc, have the ability to provide meaningful connections between the predicted outcome and the visual patterns that most influenced it. Since traditional machine-learning approaches remain in the field as efficient solutions for tasks that are covered with little data, the proposed methodologies cover both traditional machine learning and deep learning architectures. The scope of the thesis is limited to medical imaging and the application of explainable machine-learning approaches for the handling of corresponding health-related issues. Medical images are considered one of the richest sources of information concerning health data and the basis upon which experts make decisions for treatment plans and interventions. Creating explainable automated systems that support these decisions can speed up their integration process into everyday clinical workflows since experts will be able to understand and trust the generated predictions through added transparency and causality. Towards the integration of explainable properties in machine learning classification schemes, in this thesis a novel explainability scheme is proposed which is based on the Bag of Visual Words paradigm for the interpretation of image classification results by means of ensemble explainable classifiers.Since Fisher Vectors push the performance of vocabulary-based approaches to higher values, the proposed methodology evolves to support the architecture of generative models, such as Gaussian Mixture Models. Concerning deep learning techniques, a novel modular explainability approach is proposed that exploits the advantages of two well-established approaches, Gradient-Based Class Activation Maps, and Superpixels. The results show that the combined scheme significantly increases the performance of the original Gradient-based approach and the modularity allows for implementation with different explainability approaches

Στην εκκίνηση ενός ταξιδιού αυτοβελτιώσης, ένας μηχανικός μηχανικής μάθησης ανησυχεί για την απόδοση του αλγόριθμου μηχανικής μάθησης που εκφράζεται ως επί το πλείστον με όρους σφάλματος μεροληψίας. Το πρώτο βήμα ωρίμανσης περιλαμβάνει την αναγνώριση της υποπροσαρμογής και της υπερπροσαρμογής ως μέρος μιας διαδικασίας μηχανικής μάθησης που εκμεταλλεύεται μόνο ένα μικρό σύνολο δεδομένων, ως αντιπροσωπευτικό μέρος της εκ των προτέρων γνώσης, προκειμένου να λυθεί ένα περίπλοκο και πολυπαραγοντικό πρόβλημα. Αναπόφευκτα, ένας «ώριμος» επαγγελματίας μηχανικής μάθησης πρέπει να κατανοήσει τη σημασία της γενίκευσης, της αντίστοιχης διακύμανσης και των μη αναγώγιμων σφαλμάτων, εάν πρόκειται να εξελιχθεί σε έναν «ώριμο» ειδικό μηχανικής μάθησης. Μαθαίνουμε να λογοδοτούμε για τη δουλειά μας μετρώντας την απόδοση μιας προτεινόμενης μεθοδολογίας. Είναι μια ισχυρή απαίτηση οι μετρήσεις αξιολόγησης όπως η ακρίβεια, η ισορροπημένη ακρίβεια, η ακρίβεια, η ανάκληση και άλλες σύμφωνα με τη φύση μιας εργασίας μετρικές μηχανικής μάθησης να διατηρούνται σε υψηλές τιμές, αλλά υπάρχουν εξίσου σημαντικές πτυχές που πρέπει να ληφθούν υπόψη. Η ανακάλυψη των κύριων και βοηθητικών αιτιών βάσει των οποίων ένα μοντέλο πρόβλεψης αποφασίζει για μια κλάση υπέρ μιας άλλης μπορεί να είναι μια ισχυρή πηγή χρήσιμης γνώσης και, ως εκ τούτου, πρέπει να πέσει φως στους εσωτερικούς μηχανισμούς λήψης αποφάσεων. Όπως είναι φυσικό, το ταξίδι της αυτοβελτίωσης είναι ένας ατελείωτος βρόχος, καθώς η συνειδητοποίηση της αποκτηθείσας γνώσης οδηγεί σε νέα αναπάντητα ερωτήματα.Για αυτή τη διατριβή, η ωρίμανση του συγγραφέα με τη χρήση βασικών εννοιών μηχανικής μάθησης έχει εξελιχθεί σε μια αναζήτηση για την ανάπτυξη προσεγγίσεων μηχανικής μάθησης για ταξινόμηση εικόνων που, εγγενώς ή εκ των υστέρων, έχουν την ικανότητα να παρέχουν ουσιαστικές συνδέσεις μεταξύ του προβλεπτικού αποτελέσματος και των οπτικών μοτίβων που το επηρέασαν περισσότερο. Δεδομένου ότι οι παραδοσιακές προσεγγίσεις μηχανικής μάθησης παραμένουν στο πεδίο ως αποτελεσματικές λύσεις για προβλήματα που καλύπτονται με λίγα δεδομένα, οι προτεινόμενες μεθοδολογίες καλύπτουν τόσο την παραδοσιακή μηχανική μάθηση όσο και τις αρχιτεκτονικές βαθιάς μάθησης. Το εύρος της διατριβής περιορίζεται στην ιατρική απεικόνιση και την εφαρμογή εξηγήσιμων προσεγγίσεων μηχανικής μάθησης για τον χειρισμό αντίστοιχων θεμάτων που σχετίζονται με την υγεία. Οι ιατρικές εικόνες θεωρούνται μια από τις πλουσιότερες πηγές πληροφοριών σχετικά με δεδομένα υγείας και τη βάση πάνω στην οποία οι ειδικοί λαμβάνουν αποφάσεις για θεραπευτικά σχήματα και παρεμβάσεις. Η δημιουργία εξηγήσιμων αυτοματοποιημένων συστημάτων που υποστηρίζουν αυτές τις αποφάσεις μπορεί να επιταχύνει τη διαδικασία ενσωμάτωσής τους στις καθημερινές κλινικές ροές εργασιών, καθώς οι ειδικοί θα μπορούν να κατανοούν και να εμπιστεύονται τις παραγώμενες προβλέψεις μέσω πρόσθετης διαφάνειας και αιτιότητας. Προς την ενσωμάτωση εξηγήσιμων ιδιοτήτων σε σχήματα ταξινόμησης μηχανικής μάθησης, σε αυτή τη διατριβή προτείνεται ένα νέο σχήμα εξήγησης που βασίζεται στο παράδειγμα Bag of Visual Words για την ερμηνεία των αποτελεσμάτων ταξινόμησης εικόνων μέσω συνόλου εξηγήσιμων ταξινομητών.Εφόσον τα Fisher Vectors ωθούν την απόδοση των προσεγγίσεων που βασίζονται στο λεξιλόγιο σε υψηλότερες τιμές, η προτεινόμενη μεθοδολογία εξελίσσεται με τη χρήση παραγωγικών μοντέλων, όπως τα Gaussian Mixture Models. Όσον αφορά τις τεχνικές βαθιάς μάθησης, προτείνεται μια νέα τμηματική προσέγγιση εξήγησης που εκμεταλλεύεται τα πλεονεκτήματα δύο καθιερωμένων προσεγγίσεων, των Χαρτών ενεργοποίησης κλάσεων βάσει παραγώγου και των Superpixels. Τα αποτελέσματα δείχνουν ότι το συνδυασμένο σχήμα αυξάνει σημαντικά την απόδοση της αρχικής προσέγγισης που βασίζεται σε κλίση και η αρθρωτή διάταξη επιτρέπει την εφαρμογή σε διαφορετικές προσεγγίσεις επεξήγησης.