Computational signal analysis methods for information extraction with applications in biomedicine

Abstract

This doctoral thesis explores computational approaches for signal analysis and information extraction. In view of scientific challenges for developing innovative solutions with a broad social impact, it investigates various applications in biomedicine. In this context, a novel signal analysis methodology, based on fuzzy logic, was proposed. This methodology, called Fuzzy Phrases, expresses signals or feature representations of signals using sets of words. Each of these words is represented by a fuzzy set. The words form phrases, which are obtained by the aggregation of the fuzzy sets. Experiments on publicly available datasets showed that it outperforms relevant state-of-the-art approaches. Advantages of the proposed signal representation approach include intuitiveness and tolerance to uncertainty from imprecise or missing information. A significant part of this thesis is devoted to the analysis of endoscopic images, in the context of gastrointestinal tract examination. Endoscopic examination using a wireless camera (Wireless Capsule Endoscopy or WCE) has been established to study and diagnose gastrointestinal pathological conditions. The examination of the patient is performed by a swallowable camera that has the size of a large vitamin pill. The examination with WCE is a non-invasive screening procedure. During the examination, the wireless camera captures and transmits thousands of images of the gastrointestinal tract of the patient. Significant drawback of this examination is the large volume of images received; resulting in the capture of thousands of color images (> 100,000 images per patient). The clinical diagnosis of health conditions requires the review of this large number of collected images by medical specialists. Usually, the reviewers reach their human limits by trying to maintain their concentration undistracted in order to examine this large number of images within an average of 60-90min. This explains why this examination is prone to human errors and has low diagnostic accuracy. To address this important problem, image analysis methods for information extraction to assist in the clinical diagnosis of pathological conditions, were investigated. The development of such methods aims to support medical decision making by reducing the required human effort and by providing a second opinion on the examined medical problem. In-depth research of state-of-the-art methods of image processing and analysis in the literature led to several contributions. One of the contributions is the detailed recording of the literature on technological developments in the field of wireless capsule endoscopy in the last five years 2013-2018. Supervised classification methods were developed requiring only weak annotation of images by experts, i.e., the experts do not need to annotate in detail the areas of abnormality. Experimental results proved the suitability of the proposed weakly supervised methods for the detection of images with pathological content. Subsequently, algorithms were developed to identify the areas of abnormalities within these images. As the results from weak annotation approaches were encouraging for the classification between abnormal and normal images, supervised methods were adopted also for the semantic interpretation of the whole content of images using multi-label classification methods. The effort to interpret the whole content of endoscopic images proved to be reasonable, as the results for image classification and pathology finding were further improved compared to previous approaches.An important aspect in image analysis is the detection of interest points. Such points are useful for the extraction of features from the areas around them. The development of these methods has the effect of limiting the sampling points of the images to these points only, and thus simplifying the computational cost of the analysis process. To this end, during this doctoral research the algorithms suggested by the literature for the detection of points of interest in images were studied and a novel detection algorithm for endoscopic images was proposed. The proposed algorithm was based on the color characteristics of the images. The experimental results were satisfactory with respect to locating points within pathological areas, and it is important to note that the algorithm was unsupervised, as it has no requirement of training, based on previous knowledge in order to detect points. The work presented in this thesis provides the basis for further research on the topics studied. Particularly in the context of capsule endoscopy, it has contributed methods that can be practically used by physicians to detect various gastrointestinal abnormalities in endoscopic images.

Η παρούσα διδακτορική διατριβή διερευνά πρωτότυπες υπολογιστικές προσεγγίσεις ανάλυσης σημάτων και εξόρυξης πληροφορίας. Λαμβάνοντας υπόψη τις επιστημονικές προκλήσεις για την ανάπτυξη καινοτόμων λύσεων με ευρύ κοινωνικό αντίκτυπο, διερευνά διάφορες εφαρμογές στη βιοϊατρική. Αναπτύχθηκε μια πρωτότυπη μεθοδολογία βασισμένη στην ασαφή λογική, η οποία καλείται μέθοδος των Ασαφών Φράσεων (Fuzzy Phrases). Η μεθοδολογία αυτή εκφράζει τα σήματα ή τις χαρακτηριστικές αναπαραστάσεις τους με σύνολα λέξεων. Κάθε λέξη αναπαρίσταται από ένα ασαφές σύνολο. Οι λέξεις σχηματίζουν φράσεις, που λαμβάνονται από τη συνάθροιση των ασαφών συνόλων και αναπαριστούν το περιεχόμενο των σημάτων. Πειράματα σε δημοσίως διαθέσιμα δεδομένα έδειξαν ότι υπερτερεί σε αποτελεσματικότητα άλλων σύγχρονων συναφών προσεγγίσεων. Πλεονεκτήματα της συγκεκριμένης μεθόδου αποτελούν η διαισθητικότητα και η ανοχή στην αβεβαιότητα που προέρχεται από την ανακρίβεια ή την απώλεια πληροφορίας. Η διδακτορική διατριβή εστιάζει στην ανάλυση εικόνων που λαμβάνονται στο πλαίσιο ενδοσκοπικών εξετάσεων του γαστρεντερικού συστήματος με τη χρήση ασύρματης κάμερας. Η ενδοσκόπηση με χρήση ασύρματης κάμερας (Wireless Capsule Endoscopy ή WCE) έχει καθιερωθεί ως ένας τρόπος για την μελέτη και διάγνωση παθολογικών καταστάσεων του γαστρεντερικού συστήματος. Πραγματοποιείται με την κατάποση κάμερας στο μέγεθος ενός χαπιού βιταμίνης και αποτελεί μια μη-επεμβατική διαδικασία εξέτασης. Κατά τη διάρκεια μιας εξέτασης η ασύρματη κάμερα επιστρέφει χιλιάδες εικόνες για κάθε ασθενή. Ένα από τα σημαντικότερα προβλήματα αυτής της εξέτασης είναι ο μεγάλος όγκος των προσλαμβανομένων εικόνων τα οποία συνιστούν χιλιάδες έγχρωμες εικόνες (> 100.000 εικόνες ανά ασθενή). Η λήψη αποφάσεων σχετικά με την υγεία ενός ασθενούς απαιτεί την εξέταση αυτού του μεγάλου αριθμού συλλεγμένων εικόνων από εξειδικευμένο ιατρικό προσωπικό. Συνήθως, οι εξεταστές αγγίζουν τα ανθρώπινα όριά τους προσπαθώντας να διατηρήσουν την συγκέντρωση τους αδιάκοπη, προκειμένου να εξετάσουν αυτό το μεγάλο αριθμό εικόνων μέσα σε 60-90 λεπτά κατά μέσο όρο. Αυτό εξηγεί γιατί η εξέταση αυτή είναι επιρρεπής σε ανθρώπινα σφάλματα και έχει χαμηλή διαγνωστική ακρίβεια. Αναγνωρίζοντας τη σημαντικότητα αυτού του προβλήματος, διερευνώνται μέθοδοι ανάλυσης εικόνων για την εξόρυξη πληροφοριών προς την κλινική διάγνωση παθολογικών καταστάσεων. Σκοπός αυτών των μεθόδων είναι η αξιοποίησή τους στο πλαίσιο συστημάτων υποστήριξης ιατρικών αποφάσεων με στόχο κυρίως τη μείωση της ανθρώπινης προσπάθειας και την παροχή μιας δεύτερης γνώμης ως προς το υπό εξέταση ιατρικό πρόβλημα. Από την ενδελεχή έρευνα της βιβλιογραφίας, μελετήθηκαν μέθοδοι αιχμής επεξεργασίας και ανάλυσης εικόνων. Μια από τις συνεισφορές ήταν και η λεπτομερής καταγραφή της βιβλιογραφίας για τις τεχνολογικές εξελίξεις στον τομέα της ενδοσκόπησης με κάψουλα την πενταετία 2013-2018 και η δημοσίευση της. Αναπτύχθηκαν καθοδηγούμενες μέθοδοι ταξινόμησης (supervised classification) που απαιτούν μόνο ασθενή επισημείωση (weak annotation) των εικόνων από τους ειδικούς, δηλαδή μόνο την ένδειξη αν στην εικόνα περιέχεται ανωμαλία. Τα πειραματικά αποτελέσματα κατέστησαν τις μεθόδους κατάλληλες για την εύρεση εικόνων με παθολογικό περιεχόμενο. Ακολούθως δημιουργήθηκαν αλγόριθμοι για τον εντοπισμό παθολογικών περιοχών/ανωμαλιών εντός των εικόνων αυτών. Καθώς τα αποτελέσματα από τις ασθενώς καθοδηγούμενες προσεγγίσεις για την ταξινόμηση εικόνων, σε παθολογικές ή μη εικόνες, ήταν ενθαρρυντικά, έδωσαν βήμα για τη σημασιολογική ερμηνεία του συνόλου του περιεχομένου των εικόνων χρησιμοποιώντας πολλαπλές κατηγορίες (multi-label weakly supervised methods). Η προσπάθεια για ερμηνεία ολόκληρου του περιεχομένου των ενδοσκοπικών εικόνων αποδείχθηκε βάσιμη, καθώς τα αποτελέσματα για την ταξινόμηση των εικόνων και την εύρεση των παθολογιών βελτιώθηκαν ακόμα περισσότερο συγκριτικά με την προηγούμενη προσέγγιση. Ένα σημαντικό κομμάτι στην ανάλυση μεγάλου πλήθους εικόνων αποτελεί ο εντοπισμός σημείων ενδιαφέροντος και εξαγωγής χαρακτηριστικών από τις περιοχές που επιλέχθηκαν αυτά τα σημεία. Η ανάπτυξη των μεθόδων αυτών έχει ως αποτέλεσμα τον περιορισμό της δειγματοληψίας των εικόνων, μόνο στα σημεία αυτά, και κατά συνέπεια την απλοποίηση του υπολογιστικού κόστους για την ανάλυση των δειγμάτων. Για το σκοπό αυτό κατά τη διδακτορική αυτή έρευνα μελετήθηκαν οι προτεινόμενοι από τη βιβλιογραφία αλγόριθμοι για τον εντοπισμό σημείων ενδιαφέροντος σε εικόνες και προτάθηκε ένα νέος αλγόριθμος εντοπισμού σημείων για ενδοσκοπικές εικόνες. Ο προτεινόμενος αλγόριθμος βασίστηκε στα ιδιαίτερα χρωματικά χαρακτηριστικά των εικόνων. Τα πειραματικά αποτελέσματα ήταν ικανοποιητικά αναφορικά με τον εντοπισμό σημείων εντός παθολογικών περιοχών, ενώ είναι σημαντική η παρατήρηση πώς δεν απαιτήθηκε κάποια μορφή εκπαίδευσης ώστε ο αλγόριθμος να εντοπίζει σημεία. Το έργο που παρουσιάστηκε στην παρούσα διατριβή παρέχει τις βάσεις για περαιτέρω έρευνα στα αντικείμενα που μελετήθηκαν. Ειδικότερα στο πλαίσιο της ενδοσκοπίας με κάψουλα, συνεισέφερε μεθόδους που μπορούν να χρησιμοποιηθούν στην πράξη από τους γιατρούς για την ανίχνευση διαφόρων γαστρεντερικών ανωμαλιών σε ενδοσκοπικές εικόνες.