Geometric approach to statistical learning theory through support vector machines (SVM) with application to medical diagnosis

Abstract

This thesis deals with problems of Pattern Recognition in the framework of Machine Learning (ML) and, specifically, Statistical Learning Theory (SLT), using Support Vector Machines (SVMs). The focus of this work is on the geometric interpretation of SVMs, which is accomplished through the notion of Reduced Convex Hulls (RCHs), and its impact on the derivation of new, efficient algorithms for the solution of the general SVM optimization task. The contributions of this work is the extension of the mathematical framework of RCHs, the derivation of novel geometric algorithms for SVMs and, finally, the application of the SVM algorithms to the field of Medical Image Analysis and Diagnosis (Mammography). Geometric SVM Framework’s extensions. The geometric interpretation of SVMs is based on the notion of Reduced Convex Hulls. Although the geometric approach to SVMs is very intuitive, its usefulness was restricted by the fact that the RCHs are defined as reduced convex combinations of the training points, thus, leading to combinatorial complexity of the corresponding optimization task. We extended the framework of RCHs with a set of theoretical results that restrict the expression of the extreme points of the RCHs and provide an analytic form of their projection onto a specific direction. These results led to the derivation of novel, efficient geometric algorithms for SVMs. New SVM Algorithms. The known (and well-studied concerning convergence) geometric nearest point algorithms of, i) Gilbert and ii) Schlesinger-Kozinec, have been transformed (based on the above theoretical results) to solve the general, i.e., non-linear, non-separable SVM optimization task. These new geometric SVM algorithms have been implemented and tested against publicly available benchmark datasets and presented a clear performance advantage, compared to the fastest algebraic SVM algorithms. Applications - Mammography. The field of Medical Image Analysis and Diagnosis (and particularly of Mammography, studied in this work) is very crucial for social reasons and very demanding from the computational point of view. In this thesis, a set of qualitative and quantitative mammographic textural and morphological features have been assessed (using methods of statistical and fractal analysis); besides, several machine learning paradigms, e.g., Artificial Neural Networks (ANNs) and SVMs, have been used to discriminate benign from malignant mammographic masses. SVMs outperformed the other classifiers.

Η παρούσα διατριβή πραγματεύεται το πρόβλημα της Αναγνώρισης Προτύπων, στο πλαίσιο της Μηχανικής Μάθησης (ML) και, ειδικότερα, του πεδίου της Θεωρίας Στατιστικής Μάθησης (STL), μέσω των Μηχανών Διανυσμάτων Στήριξης (SVM). Η εργασία αυτή εστιάζει στην γεωμετρική ερμηνεία των SVM, που πραγματοποιείται μέσω της έννοιας των Συρρικνωμένων Κυρτών Περιβλημάτων (RCH), και της επίπτωσης που έχει στην ανάπτυξη νέων, αποδοτικών αλγορίθμων για την επίλυση του γενικού προβλήματος βελτιστοποίησης των SVM. Η συνεισφορά της παρούσης εργασίας συνίσταται στην επέκταση του μαθηματικού πλαισίου των RCH, στην ανάπτυξη νέων γεωμετρικών αλγορίθμων για τα SVM και, τέλος, στην εφαρμογή των SVM στο πεδίο της Ανάλυσης Ιατρικής Εικόνας και Διάγνωσης (Μαστογραφία). Επέκταση πλαισίου γεωμετρικών SVM. Η γεωμετρική ερμηνεία των SVM στηρίζεται στην έννοια των Συρρικνωμένων Κυρτών Περιβλημάτων. Αν και η γεωμετρική προσέγγιση των SVM παρέχει διαισθητική κατανόηση, η χρησιμότητά της ήταν περιορισμένη λόγω του γεγονότος ότι τα RCH ορίζονται μέσω συρρικνωμένων κυρτών συνδυασμών των σημείων εκπαίδευσης και, συνεπώς, το αντίστοιχο πρόβλημα βελτιστοποίησης παρουσιάζεται να έχει συνδυαστική πολυπλοκότητα. Επεκτείναμε το πλαίσιο των RCH με έναν αριθμό από θεωρητικά αποτελέσματα, που περιορίζουν την έκφραση των ακρότατων σημείων των RCH και παρέχουν αναλυτικό τύπο για την προβολή τους σε συγκεκριμένη κατεύθυνση. Τα αποτελέσματα αυτά οδήγησαν στην ανάπτυξη νέων, πολύ αποδοτικών αλγορίθμων για τα SVM. Νέοι SVM αλγόριθμοι. Οι γνωστοί (και επαρκώς μελετηθέντες ως προς τη σύγκλιση) γεωμετρικοί αλγόριθμοι πλησιέστερου σημείου, i) του Gilbert και ii) των Schlesinger-Kozinec, τροποποιήθηκαν (με βάση τα παραπάνω θεωρητικά αποτελέσματα) για την επίλυση του γενικού, δηλ., του μη-γραμμικού, μη-διαχωρίσιμου προβλήματος βελτιστοποίησης των SVM. Οι νέοι αυτοί γεωμετρικοί αλγόριθμοι για SVM εφαρμόστηκαν και ελέγχθηκαν πάνω σε δημοσίως διαθέσιμα σύνολα δεδομένων ελέγχου και παρουσίασαν σημαντικό πλεονέκτημα ως προς την απόδοση, σε σύγκριση με τους ταχύτερους αντίστοιχους αλγεβρικούς αλγορίθμους. Εφαρμογές - Μαστογραφία. Το πεδίο της Ανάλυσης Ιατρικής Εικόνας και Διάγνωσης (και ειδικότερα της Μαστογραφίας που εξετάζεται στην παρούσα εργασία) είναι ιδιαίτερα κρίσιμο για την κοινωνία, αλλά συνάμα πολύ απαιτητικό από την σκοπιά της Πληροφορικής. Στην παρούσα Διατριβή, εξετάστηκε και αποτιμήθηκε η αξία ενός συνόλου από ποιοτικά και ποσοτικά χαρακτηριστικά υφής και μορφολογίας (χρησιμοποιώντας μεθόδους στατιστικής και μορφοκλασματικής ανάλυσης)• παράλληλα, χρησιμοποιήθηκαν αρκετές μεθοδολογίες μηχανικής μάθησης, π.χ., Τεχνητά Νευρωνικά Δίκτυα (ΑΝΝ) και SVM, για να διαχωρίσουν τους κακοήθεις από τους καλοήθεις μαστογραφικούς όγκους. Τα SVM υπερείχαν σε απόδοση έναντι των υπολοίπων ταξινομητών.