Machine learning methodologies for breast cancer diagnosis from mammograms

Abstract

This thesis aims to develop innovative and effective computer-aided diagnosis methodologies, regarding breast cancer lesions in mammograms. Specifically, after an extensive analysis of state of the art works, two methodologies are proposed.In the first one, the incorporation of content-based image retrieval (CBIR) into computer aided diagnosis (CADx) is investigated. In this way, decision is provided in the context of similar retrieved cases, in order to contribute to the decision-making process of radiologists in the characterization of mammographic masses. The proposed scheme comprises two stages: a margin-oriented supervised CBIR stage that retrieves images from reference cases along with a decision stage that is based on the retrieved items. The feature set utilized exploits state-of-the-art features along with a newly proposed texture descriptor, namely mHOG, targeted to capturing margin and core specific mass properties. Performance evaluation considers the CBIR and diagnosis stages separately and is addressed by using standard measures on an enhanced version of the widely adopted digital database for screening mammography (DDSM). The proposed scheme achieved improved performance of CADx of masses in X-ray mammography experimentally compared to the state-of-the-art.The second approach follows a deep learning classification pipeline. The network architecture and training type is selected after a detailed study, where different state-of-the-art convolutional neural networks are examined in two training scenarios: the first involves initializing the network with pre-trained weights, while for the second the networks are initialized in a random fashion. Extensive experimental results show the superior performance achieved in the case of fine-tuning ResNet-50. Based on that, the main contribution of the pipeline is a novel methodology for integrating segmentation information into a CNN, aiming to improve breast cancer diagnosis. The proposed methodology involves modification of each convolutional layer of a CNN, so that information of not only the input image but also the corresponding segmentation map is considered. Furthermore, a new loss function is introduced, which adds an extra term to the standard cross-entropy, aiming to steer the attention of the network to the mass region, penalizing strong feature activations based on their location. The segmentation maps are provided either by domain experts using a semi-automatic procedure or from an automatic segmentation stage. The experimental results demonstrate that the integration of segmentation in the proposed scheme improved breast cancer diagnosis performance compared to state-of-the-art methods.

Ο όρος καρκίνος του μαστού αναφέρεται σε έναν κακοήθη όγκο ή νεόπλασμα που έχει δημιουργηθεί από κύτταρα του μαστού, συχνότερα από τους λοβούς (λοβιακός καρκίνος) και του γαλακτοφόρους πόρους (πορογενής καρκίνος). Χαρακτηριστικά των καρκινικών κυττάρων είναι ο ανεξέλεγκτος πολλαπλασιασμός τους, η καταστροφή παρακείμενων κυττάρων και η εξάπλωσή τους σε άλλα μέρη του οργανισμού, κάτι που ονομάζεται μετάσταση. Ο καρκίνος αυτός μπορεί να κατηγοριοποιηθεί σε διηθητικός ή μη διηθητικός, χαρακτηρισμός που αφορά την επιθετικότητά του ως προς την εξάπλωσή του σε άλλες περιοχές του σώματος. Ο καρκίνος του μαστού αποτελεί τον πιο συχνό και τον τρίτο πιο θανατηφόρο τύπο καρκίνου στις γυναίκες. Σύμφωνα με τις τελευταίες στατιστικές μετρήσεις, το 2021 εκτιμάται ότι στις Ηνωμένες Πολιτείες Αμερικής θα προκύψουν 281,550 περιπτώσεις καρκίνου του μαστού και 43.600 θάνατοι από αυτόν. Στην Ευρώπη, στον καρκίνο του μαστού οφείλεται το 17% των θανάτων από καρκίνο. Η έγκαιρη διάγνωση του καρκίνου του μαστού, δηλαδή στα πρώιμα στάδια της εξέλιξής του, είναι ιδιαίτερα σημαντική. Τα ποσοστά θνησιμότητας από καρκίνο του μαστού μειώνονται σταθερά από το 2013, γεγονός που αποδίδεται στις εξελίξεις στον τομέα της θεραπείας αλλά και στον έγκαιρο εντοπισμό του, χάρη στον συστηματικότερο προληπτικό έλεγχο του πληθυσμού.Η μαστογραφία είναι η βασικότερη μέθοδος ελέγχου του γενικού πληθυσμού, επιδεικνύοντας αποδεδειγμένα οφέλη ιδιαίτερα σε γυναίκες μεγαλύτερες των 40 ετών. Όμως, ο εντοπισμός και η διάγνωση αλλοιώσεων, που σχετίζονται με τον καρκίνο του μαστού αποκλειστικά μέσω της μαστογραφίας είναι μια απαιτητική διαδικασία που στηρίζεται στην εξειδίκευση και εμπειρία του ακτινολόγου ιατρού. Το γεγονός αυτό οδηγεί σε έναν μεγάλο αριθμό ψευδώς θετικών ευρημάτων και αχρείαστων επαναληπτικών εξετάσεων. Συγκεκριμένα, η πιθανότητα ψευδώς θετικής εξέτασης υπολογίζεται σε 16,3% και 9,6% για την πρώτη και τις επόμενες εξετάσεις κατά τη διάρκεια της ζωής μια γυναίκας, αντίστοιχα.Ο καρκίνος του μαστού εκδηλώνεται συχνότερα ως μια μάζα, που είναι ορατή σε τουλάχιστον δύο μαστογραφικές προβολές. Οι μάζες μπορεί να είναι είτε καρκινικές είτε όχι, ενώ μπορούν να κατηγοριοποιηθούν με βάση τα απεικονιστικά τους χαρακτηριστικά σε κατηγορίες που αφορούν το σχήμα τους, το όριό τους, δηλαδή την αλληλεπίδρασή τους με τον παρακείμενο φυσιολογικό ιστό. Κάθε κατηγορία είναι συνδεδεμένη με διαφορετική πιθανότητα κακοήθειας. Για παράδειγμα, μάζες με σαφή όρια τείνουν να είναι καλοήθεις ενώ μάζες με ασαφή ή ακτινωτά όρια συνδέονται με υψηλή πιθανότητα κακοήθειας. %Μια πρώιμη μορφή καρκίνου του μαστού είναι οι συστάδες μικρο-αποτιτανώσεων. Ως αποτιτανώσεις ονομάζονται μικρές εναποθέσεις ασβεστίου στο μαστό και μπορεί να δημιουργηθούν φυσιολογικά. Όμως, η υψηλή τους συγκέντρωση σε μια περιοχή, που ονομάζεται συστάδα, έχει συνδεθεί με πιθανότητα πρώιμης μορφής κακοήθειας.Τα συστήματα υποβοήθησης διάγνωσης κατέχουν ήδη εδραιωμένο ρόλο στην κλινική πρακτική και προσφέρουν ουσιαστική βοήθεια στη διαφορική διάγνωση εξετάσεων μαστογραφίας και όχι μόνο. Ο στόχος των συστημάτων αυτών είναι αφενός να μειώσουν το φόρτο των ιατρών που σχετίζεται με τη διάγνωση μαστογραφίας, αφετέρου να δράσουν συμπληρωματικά ως δεύτερος αναγνώστης, επιβεβαιώνοντας την διαγνωστική απόφαση. Στην πιο αφαιρετική τους μορφή, τα συστήματα αυτά ακολουθούν μια διαδικασία ταξινόμησης εικόνας, με στόχο την κατηγοριοποίηση μιας περιοχής ενδιαφέροντος που απεικονίζει αλλοίωση σε καλοήθη ή κακοήθη. Μια εναλλακτική προσέγγιση τέτοιων συστημάτων είναι αυτά που βασίζονται σε ανάκτηση εικόνας βάσει περιεχομένου. Τα συστήματα αυτά, στη θέση μιας δυαδικής απόφασης σχετικά με την πιθανότητα κακοήθειας, παράγουν μια ταξινομημένη λίστα των αποθηκευμένων αλλοιώσεων με γνωστή παθολογία. Με τον τρόπο αυτό, στοιχειοθετούν καλύτερα την απόφασή τους και προσφέρουν επιπλέον βοήθεια στο χρήστη, αυξάνοντας την εμπιστοσύνη του στα αποτελέσματα του συστήματος. Κοινό σημείο των δύο προσεγγίσεων αποτελεί η ύπαρξη μιας μεθοδολογίας εξαγωγής χαρακτηριστικών, που έχει ως στόχο να ποσοτικοποιήσει συγκεκριμένα στοιχεία στην απεικόνιση μιας αλλοίωσης, εξάγοντας μια πυκνότερη αναπαράσταση της εικόνας που μπορεί να συνδεθεί με την πιθανότητα κακοήθειας. Το πρώτο αντικείμενο της παρούσας διατριβής είναι ο σχεδιασμός και η ανάπτυξη μιας μεθοδολογίας υποβοήθησης διάγνωσης καρκίνου του μαστού, που συνδυάζει την ανάκτηση εικόνας βάσει περιεχομένου και την αυτοματοποιημένη εκτίμηση της κακοήθειας ενός μαστογραφικού ευρήματος. Με τον τρόπο αυτό, το σύστημα παρέχει στο χρήστη μια διαγνωστική απόφαση ενώ παράλληλα την στοιχειοθετεί με βάση παρελθοντικά αποθηκευμένα περιστατικά. Για την επίτευξη του σκοπού αυτού, η μεθοδολογία αποτελείται από 2 διακριτά στάδια: α) ένα στάδιο ανάκτησης εικόνας βάσει περιεχομένου με έμφαση στα απεικονιστικά χαρακτηριστικά του ορίου μια μάζας και β) ένα στάδιο διάγνωσης που βασίζεται στην ταξινομημένη λίστα αποτελεσμάτων του προηγούμενου σταδίου. Πιο συγκεκριμένα, οι συνεισφορές του προτεινόμενου σχήματος είναι οι εξής:Μια καινοτόμα μέθοδος που βασίζεται σε ένα σύνολο μη-γραμμικών ταξινομητών Support Vector Machine (SVM) για να κωδικοποιήσει τα χαρακτηριστικά που εξήχθησαν από την εικόνα σε μια πυκνότερη αναπαράσταση. Η αναπαράσταση αυτή εκφράζει το ποσοστό συμμετοχής κάθε τύπου ορίου μάζας στη συγκεκριμένη αλλοίωση. Το σύνολο των αποτελεσμάτων ταξινόμησης συγκεντρώνεται σε ένα διάνυσμα που χρησιμοποιείται για σύγκριση των εικόνων με βάση την ευκλείδεια απόσταση. Το ποσοστό συμμετοχής υπολογίζεται με βάση την απόσταση κάθε διανύσματος χαρακτηριστικών από το διαχωριστικό υπερ-επίπεδο του ταξινομητή SVM. Παρεμβάλλοντας το επιπλέον βήμα κωδικοποίησης, με μη γραμμικούς ταξινομητές, μεταξύ της εξαγωγής χαρακτηριστικών και της σύγκρισης ομοιότητας, επιτυγχάνεται καλύτερη αξιοποίηση των πολύπλοκων συσχετισμών μεταξύ των εξαγμένων χαρακτηριστικών, σε αντίθεση με την απλή περίπτωση άμεσης σύγκρισης με την ευκλείδεια απόσταση. Κατά την πειραματική αξιολόγηση δείχνεται ότι το προτεινόμενο σχήμα βελτιώνει τόσο την απόδοση της ανάκτησης όσο και την διαγνωστική ακρίβεια. Επιπρόσθετα, ο πειραματισμός επεκτείνεται σε διαφορετικά σύνολα χαρακτηριστικών που υιοθετούνται από εργασίες της τρέχουσας βιβλιογραφίας, όπου επίσης παρατηρείται σημαντική βελτίωση της απόδοσης.Ένα νέο περιγραφέα υφής, που ονομάζεται modified Histogram of Oriented Gradients (mHOG), με στόχο να αναγνωρίζει μοτίβα υφής σε συγκεκριμένες περιοχές της μάζας: τον πυρήνα, το όριο και τον παρακείμενο φυσιολογικό ιστό. Αρχικά, ο περιγραφέας διακρίνει τις τρεις παραπάνω περιοχές μιας μάζας με βάση το περίγραμμα της. Έπειτα, εφαρμόζεται σε αυτές η βασική διαδικασία του περιγραφέα υφής Histogram of Oriented Gradients: για κάθε περιοχή μεμονωμένα, δημιουργείται ένα ιστόγραμμα του προσανατολισμού της βαθμίδας σε κάθε θέση εικονοστοιχείου. Τελικά, παράγονται τρία ιστογράμματα τα οποία ενώνονται διαδοχικά σε ένα ενιαίο διάνυσμα χαρακτηριστικών. Κατά την πειραματική αξιολόγηση, ο περιγραφέας επιτυγχάνει αυξημένη επίδοση τόσο ανάκτησης όσο και διάγνωσης, συγκρινόμενος με πολλαπλά χαρακτηριστικά υφής που έχουν προταθεί σε εργασίες της τρέχουσας βιβλιογραφίας.Δεύτερο αντικείμενο της παρούσας διατριβής αποτελεί η ανάπτυξη μεθοδολογίας βαθειάς μάθησης για την υποβοήθηση διάγνωσης μαστογραφιών. Τα τελευταία χρόνια, οι τεχνικές βαθειάς μάθησης (deep learning) έχουν επιτύχει επιδόσεις που ξεπερνούν τις συμβατικές μεθόδους σε μια πληθώρα προβλημάτων, γεγονός που τις καθιστά μια σημαντική εξέλιξη στον τομέα της μηχανικής μάθησης. Σε αντίθεση με τις συμβατικές μεθόδους, οι αρχιτεκτονικές βαθειάς μάθησης δεν απαιτούν την ανάπτυξη μεθοδολογιών εξαγωγής χαρακτηριστικών, αλλά επεξεργάζονται άμεσα την εικόνα. Οι συχνότερα χρησιμοποιούμενοι ταξινομητές βαθειάς μάθησης είναι τα συνελικτικά νευρωνικά δίκτυα (convolutional neural networks). Οι αρχιτεκτονικές αυτές είναι σε θέση να καταλήξουν προσαρμοστικά στα κατάλληλα χαρακτηριστικά, για την επίλυση του εκάστοτε προβλήματος, προσδιορίζοντας τις κατάλληλες παραμέτρους κατά τη διάρκεια της εκπαίδευσής τους, για έναν μεγάλο αριθμό φίλτρων συνέλιξης. Τα φίλτρα αυτά οργανώνονται σε ιεραρχικά επίπεδα τα οποία εφαρμόζονται διαδοχικά, με αποτέλεσμα τα χαρακτηριστικά που εξάγονται να είναι κλιμακούμενης πολυπλοκότητας. Στα τελευταία επίπεδα, το συνελικτικό δίκτυο αναμένεται να έχει προσαρμοστεί και να εξάγει τα πολύπλοκα χαρακτηριστικά που συνδέονται άμεσα με τις διαφορετικές πιθανές κλάσεις του προβλήματος προς επίλυση. Με βάση το γεγονός ότι η τμηματοποίηση μιας αλλοίωσης είναι ιδιαίτερα σημαντική για την εξαγωγή ποιοτικών χαρακτηριστικών, όπως αυτό αποτυπώνεται στις εργασίες της τρέχουσας βιβλιογραφίας, η συνεισφορά της παρούσας διατριβής είναι η ανάπτυξη μιας μεθοδολογίας που επιτρέπει την ενσωμάτωση και αξιοποίηση της τμηματοποίησης σε ένα συνελικτικό νευρωνικό δίκτυο. Η προτεινόμενη μέθοδος μπορεί να εφαρμοσθεί σε οποιαδήποτε αρχιτεκτονική δικτύου καθώς περιλαμβάνει συγκεκριμένες τροποποιήσεις που γίνονται μεμονωμένα σε κάθε συνελικτικό επίπεδο. Συγκεκριμένα, το δίκτυο τροποποιείται ως εξής: Πριν την είσοδο κάθε συνελικτικού επιπέδου του δικτύου, διενεργείται προσαύξηση της τρίτης διάστασης των δεδομένων με έναν ακόμα πίνακα, ίδιων χωρικών διαστάσεων με τον χάρτη χαρακτηριστικών σε εκείνο το σημείο. Ο πίνακας αυτός περιέχει τον χάρτη τμηματοποίησης της αλλοίωσης, δηλαδή μια δυαδική εικόνα στην οποία αποτυπώνεται για κάθε εικονοστοιχείο αν ανήκει στην αλλοίωση ή σε φυσιολογικό ιστό. Με τον τρόπο αυτό, η πληροφορία της τμηματοποίησης γίνεται άμεσα διαθέσιμη σε κάθε ένα συνελικτικό επίπεδο. Ο χάρτης χαρακτηριστικών αποτελεί επιπλέον είσοδο του δικτύου και δύναται να είναι προϊόν χειροκίνητης ή αυτόματης τμηματοποίησης. Φυσικά, σε κάθε σημείο του δικτύου, τα δεδομένα έχουν σταδιακά μειούμενες χωρικές διαστάσεις. Για το λόγο αυτό, ο αρχικός χάρτης τμηματοποίησης υπόκειται στις κατάλληλες διαδοχικές υπο-δειγματοληψίες ώστε να είναι συμβατός με κάθε μέγεθος χάρτη χαρακτηριστικών. Αντίστοιχα με την προσαύξηση των δεδομένων εισόδου ενός συνελικτικού επιπέδου, οι πυρήνες συνέλιξης των επιπέδων τροποποιούνται ώστε να συμπεριλαμβάνονται στην συνέλιξη και τα επιπλέον δεδομένα εισόδου. Έτσι, η τρίτη διάσταση των πυρήνων προσαυξάνεται κατά ένα. Για κάθε πυρήνα, οι επιπλέον παράμετροι αρχικοποιούνται τυχαία από την κατανομή των υπόλοιπων παραμέτρων του εκάστοτε πυρήνα, ώστε να διατηρηθεί και η κατανομή των παραγόμενων τιμών από το επίπεδο.Επιπρόσθετα των τροποποιήσεων στην αρχιτεκτονική δικτύου, κατά τη διάρκεια της εκπαίδευσης, προτείνεται η χρήση μιας τροποποιημένης συνάρτησης κόστους που δίνει έμφαση στις περιοχές της εικόνας που περιέχουν την αλλοίωση. Συγκεκριμένα, για κάθε χάρτη χαρακτηριστικών που παράγεται από τα συνελικτικά επίπεδα, υπολογίζεται ο λόγος της ενέργειας των τιμών ενεργοποίησης που βρίσκεται εκτός της μάζας προς την συνολική ενέργεια των τιμών του χάρτη. Τελικά ο μέσος όρος όλων των λόγων προστίθεται στην συνάρτηση κόστους, που στην τυπική περίπτωση είναι η Cross-Entropy για προβλήματα ταξινόμησης. Με τον τρόπο αυτό αποδίδεται υψηλό κόστος στις περιπτώσεις όπου τα χαρακτηριστικά εμφανίζουν υψηλές τιμές ενεργοποίησης σε περιοχές εκτός αλλοίωσης. Τελικά, καθώς η συνάρτηση κόστους ελαχιστοποιείται, ο όρος αυτός δρα ως επιπλέον κίνητρο ώστε να επιτευχθεί σύγκλιση με χαρακτηριστικά που αφορούν περιοχές μάζας και όχι φυσιολογικό ιστό.Για την εφαρμογή και αξιολόγηση της παραπάνω μεθόδου ενσωμάτωσης πληροφορίας τμηματοποίησης διενεργήθηκε πειραματική αξιολόγηση των διάφορων αρχιτεκτονικών συνελικτικού δικτύου, που περιγράφηκαν στο Κεφάλαιο 2, σε δυο σενάρια. Στο πρώτο σενάριο το δίκτυο εκπαιδεύτηκε με τυχαίες αρχικές παραμέτρους ενώ στο δεύτερο υιοθετήθηκαν προ-εκπαιδευμένα βάρη. Το επιλεγμένο δίκτυο για την πειραματική αξιολόγηση της μεθόδου είναι το ResNet-50. Επιπλέον, ιδιαίτερη έμφαση δόθηκε στον τρόπο καθορισμού της περιοχής ενδιαφέροντος γύρω από μια αλλοίωση, που αποτελεί και την είσοδο στο δίκτυο. Συγκεκριμένα, διερευνήθηκε η συμβολή διαφορετικών ποσοστών παρακείμενου ιστού γύρω από την αλλοίωση στην περιοχή ενδιαφέροντος καθώς και σενάρια επιλογής ποσοστιαίου ή προ-καθορισμένου μεγέθους περιοχής ενδιαφέροντος.Κατά την πειραματική αξιολόγηση της επίδοσης της προτεινόμενης αρχιτεκτονικής διερευνήθηκε η επίδραση της χειροκίνητης αλλά και της αυτόματης τμηματοποίησης μαζών. Οι τμηματοποιήσεις κατά την πρώτη περίπτωση παρήχθει από με ημι-αυτόματο τρόπο από ειδικούς. Για την αυτόματη τμηματοποίηση εφαρμόσθηκαν και δοκιμάσθηκαν πολλαπλές αρχιτεκτονικές συνελικτικών δικτύων. Σε κάθε περίπτωση, δείχνεται ότι η προτεινόμενη μέθοδος βελτιώνει σημαντικά την επίδοση του δικτύου. Διαπιστώνεται επίσης ότι η αύξηση στην επίδοση είναι συνδεδεμένη με την ποιότητα τμηματοποίησης. Τέλος, η προτεινόμενη μέθοδος συγκρίνεται με διαφορετικές τεχνικές ενσωμάτωσης της τμηματοποίησης σε συνελικτικό δίκτυο, που χρησιμοποιούνται στην τρέχουσα βιβλιογραφίαςΗ παρούσα διατριβή δομείται ως εξής: Στο πρώτο κεφάλαιο παρατίθενται οι στόχοι της διατριβής καθώς και εισαγωγικές πληροφορίες σχετικά με την ανατομία και την παθολογία του μαστού και την μαστογραφία. Στο δεύτερο κεφάλαιο γίνεται μια λεπτομερής ανάλυση της τρέχουσας βιβλιογραφικής στάθμης. Για τις συμβατικές μεθόδους δίνεται ιδιαίτερη έμφαση τόσο στις μεθόδους εξαγωγής χαρακτηριστικών όσο και στις μεθόδους μηχανικής μάθησης που υιοθετούνται σε δημοσιευμένες εργασίες. Η ανάλυση επεκτείνεται και στις μεθοδολογίες που βασίζονται στη βαθειά μάθηση, με έμφαση στις αρχιτεκτονικές δικτύου που χρησιμοποιούνται και στην χρήση της τμηματοποίησης. Στο τρίτο κεφάλαιο αναλύεται εκτενώς και αξιολογείται πειραματικά η προτεινόμενη μεθοδολογία υποβοήθησης διάγνωσης με ανάκτηση εικόνας βάσει περιεχομένου. Το τέταρτο κεφάλαιο αφορά στην αρχιτεκτονική βαθειάς μάθησης, με έμφαση στην προτεινόμενη μεθοδολογία ενσωμάτωσης της τμηματοποίησης της αλλοίωσης. Κατά τον πειραματισμό αξιολογείται η συνεισφορά κάθε στοιχείου της μεθοδολογίας μεμονωμένα ενώ διενεργείται σύγκριση με αντίστοιχες μεθοδολογίες. Τέλος, το πέμπτο κεφάλαιο αποτελεί τον επίλογο της διατριβής, όπου συνοψίζεται η συνεισφορά της και προτείνονται μελλοντικές ερευνητικές κατευθύνσεις.