Ερμηνεύσιμα μοντέλα βαθιάς μάθησης για την ανάλυση οπτικών δεδομένων

Abstract

The first part of this dissertation focuses on developing Deep Neural Networks for applications in several domains, such as Facial Expression Recognition, Medical Image Analysis and Autonomous Driving. One of the domains where we focused on was that of Computer-Aided Diagnosis. We tried to build Neural Networks with both Convolutional an Recurrent components to properly capture the relationships in the volumetric input data. As an extension to the previous model, we modified its training procedure so that it can adapt to new data, without forgetting its previous training. The technique involves clustering the highest-level features extracted from the CNN. Each cluster is associated to a class; a sample is then classified depending on what cluster is closest to that sample's features. Finally, by giving an expert interpretation to each cluster, the model's predictions can be somewhat explained, giving the model a level of Interpretability. Through the various applications we examined, we ascertained the importance of Interpretability in Neural Networks. A phenomenon has been observed in literature, where increase in Interpretability leads to decreased performance (or Fidelity as it's referred). This is commonly referred to as the Fidelity-Interpretability Tradeoff. We began by trying to define the concepts mentioned above, as well as some metrics for evaluation. More specifically we defined two metrics: the Fidelity-Interpretability Ratio and the Fidelity-Interpretability Index. Our first study involved an extension of the classic Class Activation Mapping technique, so that it provides more Interpretable maps. The idea was the to train a complementary network that would learn to produce high-resolution maps. By combining these with their original lower-resolution counterparts, we can generate very fine and sharp maps of the object that the CNN is “looking at” when it makes a prediction. A second, lower-level approach to NN Interpretability, involved fundamentally rethinking the whole way these models work. Our goal was to train a network that could achieve the highest level of Interpretability without sacrificing any of its Fidelity. To accomplish this, we designed an architecture comprised of two parts: a “hider”, whose goal is to mask part of the input and a “seeker”, who tries to classify the masked input. These two models are trained in a collaborative fashion on two objectives. The first is minimizing a standard classification loss, while the second is maximizing the percentage of the input that is masked.

Στο πλαίσιο της διατριβής μελετήθηκαν διάφορες εφαρμογές της Βαθιάς Μηχανικής Μάθησης για την αναγνώριση οπτικών δεδομένων. Αρχικά μελετήθηκαν, σχεδιάστηκαν και υλοποιήθηκαν διάφορες μεθοδολογίες σε τομείς όπως η ανάλυση συναισθήματος και η ανάλυση εικόνας. Ιδιαίτερη έμφαση δόθηκε στον τομέα της ιατρικής εικόνας με εφαρμογές σε νευροεκφυλιστικές νόσους, όπου κατασκευάσθηκε ένα σύνολο δεδομένων σχετικών με τη Νόσο του Parkinson. Έπειτα, σχεδιάσθηκαν και υλοποιήθηκαν διάφορες αρχιτεκτονικές για την ανάλυση των εικόνων αυτών, ώστε να εκπαιδευθεί ένα σύστημα ικανό να παράγει διαγνώσεις. Η απόδοση του τελευταίου όμως δεν αρκεί από μόνη της ώστε να εξασφαλιστεί η χρησιμότητά του, καθόσον το σύστημα να πρέπει να παρέχει μια μορφή ερμηνευσιμότητας. Κατά συνέπεια, το σύστημα επεκτάθηκε ώστε να του δοθεί η απαραίτητη διαφάνεια για το σκοπό αυτό. Στη συνέχεια, μελετήθηκε εκτενέστερα το θέμα της Ερμηνευσιμότητας των Βαθιών Νευρωνικών Δικτύων. Πιο συγκεκριμένα, ορίστηκαν διάφορες μετρικές μέσω των οποίων μπορεί κανείς να ποσοτικοποιήσει πόσο ερμηνεύσιμο είναι ένα δίκτυο και πόση απόδοση θα έπρεπε να θυσιάσει για να το πετύχει αυτό. Το πρόβλημα αντιμετωπίσθηκε με δύο προσεγγίσεις που έδωσαν πολύ ικανοποιητικά αποτελέσματα: η πρώτη είναι επέκταση της γνωστής τεχνικής των Χαρτών Ενεργοποίησης Κλάσης, ενώ η δεύτερη προτείνει μια νέα αρχιτεκτονική, η οποία θα εκπαιδεύεται για να προσδώσει εξηγήσεις στις αποφάσεις ενός δικτύου. Αυτό επιτυγχάνεται μέσω δύο υπο-δικτύων, ενός που έχει σκοπό να κρύβει μέρος της εισόδου και ενός που προσπαθεί να ταξινομεί την μερικώς κρυμμένη είσοδο, τα οποία εκπαιδεύονται συνεργατικά μέσω μιας συνάρτησης σφάλματος με δύο όρους.