Neural networks: deep learning strategies for problems with limited data

Abstract

Small sample size learning (SSSL) problem arises when the available training data are limited, making it challenging for machine learning models to capture meaningful patterns and provide accurate predictions. In computer vision applications, constraints on training data are common due to data collection difficulties or high annotation costs. This PhD thesis focuses on exploring deep learning strategies tailored for addressing the SSSL problem, with a specific emphasis on developing efficient training methods for convolutional neural networks (CNNs) when only a limited amount of data are available. Different approaches exist based on the space being considered: data augmentation techniques in the input space, approximating target functions with regularization and pretraining in the model space and encoding relationships between data points within a latent feature space. In this dissertation we propose methods that address SSSL in one or multiple spaces simultaneously. The applications studied in this thesis include biometric verification in the offline signature verification (OffSV) problem, which currently lacks a large available offline signature dataset, and the biomedical problem of human epithelial type-2 (Hep-2) cell classification through indirect immunofluorescence (IIF) microscopy images, involving a challenging annotation process. Initially, shallow representation learning approaches, utilizing traditional computer vision techniques, are studied as a baseline scenario of approaching SSSL. This enabled us to gain valuable insights into the intrinsic characteristics of the studied problems and enhanced the interpretability of the results. Subsequently, a hybrid scheme combining hand-crafted descriptors with a CNN model is proposed. Hand crafted features can create representations with desired invariance characteristics, hence when used as input to a CNN, can provide a more effective starting point for training with limited samples size. A different path to address the SSSL problem studied in this dissertation involves utilizing external data from a similar domain with data abundance. These data can serve as information carriers within a sophisticated training procedure, aimed at enhancing performance in the target problem that suffers data limitations. Such methods were developed in the context of OffSV, where auxiliary handwritten text data were utilized during the training of CNNs in the writer identification task, managing to learn effective encodings of signature images by employing domain adaptation techniques, achieving comparable performance or even surpassing models trained on thousands of signature images. The first such approach proposed in this thesis is explicit domain adaptation, which encompasses metric learning using an additional transformation layer trained via contrastive loss, used to transform the outputs of a pretrained CNN model. The second proposed technique is implicit domain adaptation, implemented through teacher supervision in the Feature-based Knowledge Distillation (FKD) scheme. This method leverages both local and global information from intermediate representations of the teacher to facilitate efficient knowledge transfer. Results demonstrate that the proposed approaches effectively address the SSSL problem in the OffSV domain, operating in either the feature space or the model space, by utilizing auxiliary data in the input space to overcome the challenges posed by the data limitations.

Το πρόβλημα εκμάθησης με μικρό πλήθος δεδομένων προκύπτει όταν τα διαθέσιμα δεδομένα εκπαίδευσης είναι περιορισμένα, κάτι που καθιστά δύσκολη την αποτελεσματική εκπαίδευση μοντέλων μηχανικής εκμάθησης και την πρόβλεψη ακριβών αποτελεσμάτων. Η διαθεσιμότητα μεγάλου όγκου δεδομένων συχνά αποτελεί πρόκληση, τόσο σε επίπεδο αποθήκευσης και επεξεργασίας, όσο και σε επίπεδο συλλογής, ελέγχου και χειρωνακτικής επισήμανσης των δεδομένων, ιδιαίτερα σε προβλήματα επιβλεπόμενης εκμάθησης. Η παρούσα Διδακτορική Διατριβή εστιάζει στην ανάπτυξη αποδοτικών και πρωτοποριακών τεχνικών εκμάθησης που καθιστούν εφικτή την αξιοποίηση τεχνικών αιχμής από το χώρο των βαθιών Συνελικτικών Νευρωνικών Δικτύων (ΣΝΔ) σε προβλήματα με εγγενείς περιορισμούς στα διαθέσιμα δεδομένα εκπαίδευσης, όπως π.χ. είναι οι βιομετρικές και βιο-ιατρικές εφαρμογές. Μια απλή ταξινόμηση των προσεγγίσεων για την επίλυση του προβλήματος εκμάθησης με μικρό πλήθος δεδομένων μπορεί να πραγματοποιηθεί με βάση το πεδίο που εφαρμόζονται οι διάφορες τεχνικές, αξιοποιώντας το χώρο εισόδου των δεδομένων με κυρίαρχες τις μεθόδους επαύξησης των δεδομένων, το πεδίο του μοντέλου αναζητώντας τη βέλτιστη συνάρτηση για την αποδοτική κωδικοποίηση της πληροφορίας, και την ανάπτυξη σχέσεων (αν)ομοιότητας στα εξαγόμενα αποτελέσματα του μοντέλου. Αρχικά μελετώνται μοντέλα εκμάθησης με χρήση ρηχών μεθόδων αναπαράστασης εικόνων, χρησιμοποιώντας κλασσικές τεχνικές υπολογιστικής όρασης ως βάση αναφοράς στο πρόβλημα με μικρό πλήθος δεδομένων. Αυτό είναι βοηθητικό για την κατανόηση των χαρακτηριστικών των σημάτων που μελετώνται αλλά και την καλύτερη εξήγηση των αποτελεσμάτων. Στη συνέχεια, προτείνεται μια υβριδική μέθοδος που συνδυάζει κλασσικούς περιγραφείς εικόνων με ένα ΣΝΔ. Ο κλασσικός τρόπος κωδικοποίησης της πληροφορίας εφοδιάζει τις προκύπτουσες αναπαραστάσεις της εικόνας με επιθυμητά χαρακτηριστικά, και όταν χρησιμοποιούνται ως είσοδος σε ένα ΣΝΔ, μπορούν να παρέχουν ένα πιο αποτελεσματικό σημείο εκκίνησης για την εκπαίδευση του δικτύου με περιορισμένο αριθμό δειγμάτων. Σε μια διαφορετική κατεύθυνση αντιμετώπισης του προβλήματος εκμάθησης με μικρό πλήθος δεδομένων, αξιοποιήθηκε η χρήση εξωτερικών δεδομένων από έναν παρόμοιο πρόβλημα με πληθώρα δεδομένων. Αυτά τα δεδομένα εξάχθηκαν έτσι ώστε να εξυπηρετούν ως φορείς πληροφορίας μια ειδικά σχεδιασμένη διαδικασία εκπαίδευσης, με στόχο να βελτιωθεί η απόδοση στο πρόβλημα που υποφέρει από περιορισμούς δεδομένων. Σε αυτή την περίπτωση, η αποτελεσματική προσαρμογή των δύο προβλημάτων, του προβλήματος με επάρκεια δεδομένων και του προβλήματος ενδιαφέροντος με περιορισμένα δεδομένα, πραγματοποιείται σχεδιάζοντας τη διαδικασία εκπαίδευσης τόσο άμεσα με την εκμάθηση αποστάσεων μέσω ενός πρόσθετου επιπέδου μετασχηματισμού που χρησιμοποιείται για να μετασχηματίσει τις εξόδους ενός προ-εκπαιδευμένου μοντέλου ΣΝΔ στη βάση της ομοιότητας των σημάτων που μελετώνται όσο και έμμεσα μέσω ενός σχήματος απόσταξης γνώσης μεταξύ δύο ΣΝΔ, όπου το ένα δίκτυο έχει το ρόλο του μαθητευόμενου και το άλλο του επιβλέποντος, σχηματίζοντας καινοτόμες συναρτήσεις ομοιότητας μεταξύ των ενδιάμεσων αναπαραστάσεων των δύο μοντέλων για την αποτελεσματική μεταφορά της πληροφορίας από το δίκτυο επιβλέποντα κατά τη διάρκεια της εκπαίδευσης του δικτύου μαθητευόμενου. Επομένως, στα πλαίσια αυτής της διδακτορικής διατριβής, σχεδιάστηκαν πρωτοποριακές προσεγγίσεις επίλυσης του προβλήματος εκμάθησης με περιορισμένα δεδομένα αναπτύσσοντας τεχνικές σε πολλαπλά πεδία του προβλήματος αλλά και δοκιμάζοντας διαφορετικές εφαρμογές ενδιαφέροντος.