Design and implementation of machine learning algorithms in big biomedical data

Abstract

Machine Learning (ML) is a critical tool for Big Biomedical data analysis based on the fundamental principle that data quality determines the efficacy of analytical results. This investigation emphasizes the importance of meticulous data collection and preprocessing, focusing on precision, to support the dependability of ML applications. It addresses the critical issues of missing information, anomalies, duplications, and boundary cases, all critical for priming datasets for comprehensive analysis. The emphasis then shifts to the art and science of data preprocessing, with aggregation, sampling, dimensionality reduction, feature selection, and engineering highlighted as key techniques for transforming raw data into structured formats suitable for advanced ML algorithms. These preliminary steps are critical for leveraging ensemble learning, which emerges as a strong strategy for improving model performance. Ensemble learning, which combines multiple predictive models, is proposed as a way to improve accuracy and robustness, particularly in the context of complex Big Biomedical datasets. This thesis investigates neural network performance optimization and presents projection-based ensemble classifiers with neural network voting. The practical application of these concepts is demonstrated through the introduction of a hierarchical divisive clustering toolbox, exemplifying the effective use of projection-based ensemble methods for sophisticated clustering and classification tasks. The methodologies and tools presented provide a comprehensive strategy for harnessing the complexities of biomedical big data, with the goal of improving analytical capabilities in this domain.

Η Μηχανική Μάθηση (ΜΜ) είναι ένα κρίσιμο εργαλείο για την ανάλυση μεγάλων βιοϊατρικών δεδομένων που βασίζεται στη θεμελιώδη αρχή ότι η ποιότητα των δεδομένων καθορίζει την αποτελεσματικότητα των αναλυτικών αποτελεσμάτων. Η παρούσα έρευνα υπογραμμίζει τη σημασία της σχολαστικής συλλογής και προεπεξεργασίας δεδομένων, με έμφαση στην ακρίβεια, για την υποστήριξη της αξιοπιστίας των εφαρμογών ΜΜ. Αντιμετωπίζει τα κρίσιμα ζητήματα των ελλιπών πληροφοριών, των ανωμαλιών, των επικαλύψεων και των οριακών περιπτώσεων, όλα κρίσιμα για την προετοιμασία των συνόλων δεδομένων για ολοκληρωμένη ανάλυση. Στη συνέχεια, η έμφαση μετατοπίζεται στην τέχνη και την επιστήμη της προεπεξεργασίας δεδομένων, με τη συγκέντρωση, τη δειγματοληψία, τη μείωση της διαστατικότητας, την επιλογή χαρακτηριστικών και τη μηχανική να αναδεικνύονται ως βασικές τεχνικές για τη μετατροπή των ακατέργαστων δεδομένων σε δομημένες μορφές κατάλληλες για προηγμένους αλγορίθμους ΜΜ. Αυτά τα προκαταρκτικά βήματα είναι κρίσιμα για την αξιοποίηση της μάθησης συνόλων, η οποία αναδεικνύεται ως ισχυρή στρατηγική για τη βελτίωση της απόδοσης των μοντέλων. Η μάθηση συνόλου, η οποία συνδυάζει πολλαπλά μοντέλα πρόβλεψης, προτείνεται ως ένας τρόπος βελτίωσης της ακρίβειας και της ευρωστίας, ιδίως στο πλαίσιο πολύπλοκων συνόλων Μεγάλων Βιοϊατρικών δεδομένων. Η παρούσα εργασία διερευνά τη βελτιστοποίηση των επιδόσεων των νευρωνικών δικτύων και παρουσιάζει ταξινομητές συνόλου με βάση την προβολή με ψήφιση νευρωνικών δικτύων. Η πρακτική εφαρμογή αυτών των εννοιών επιδεικνύεται μέσω της εισαγωγής μιας εργαλειοθήκης ιεραρχικής διαχωριστικής ομαδοποίησης, η οποία αποτελεί παράδειγμα της αποτελεσματικής χρήσης μεθόδων συνόλου βασισμένων στην προβολή για εξελιγμένες εργασίες ομαδοποίησης και ταξινόμησης. Οι μεθοδολογίες και τα εργαλεία που παρουσιάζονται παρέχουν μια ολοκληρωμένη στρατηγική για την αξιοποίηση της πολυπλοκότητας των μεγάλων βιοϊατρικών δεδομένων, με στόχο τη βελτίωση των αναλυτικών δυνατοτήτων σε αυτόν τον τομέα.