Investigation and development of machine learning algorithms for analysis of large volumes of data

Abstract

The current era is defined by the abundancy of data. Globally, the accumulation of data is exponentially increasing each year, leading to huge amounts of data, containing useful information. Machine learning, a set of data-driven approaches for developing mathematical models, based on self-learning algorithms, has found fertile ground to grow. The adaptation of machine learning has been also vast not only due to the recent data availability, but also because of the easy access to high performance hardware. In most domains, the implementation of machine learning approaches brought previously unattainable solutions to complex problems and overall high performances to their operations, leading to a significant paradigm shift. However, a gap has been identified in the domain of Agriculture, the only domain that is steadily behind in technological advancements, even though it is highly significant and belongs in the primary production. The need for fast technological adaptation to agriculture is grave, because of the rapid increase in global population, leading to overpopulation and the adverse effect of climate change.The problem at hand is the development of a methodology for proper identification of diseases on trees, that are located within orchards of high valued crops. Agricultural operational environments are highly complex, and the disease detection is problem based on vision, therefore large amounts of imaging data and sophisticated machine learning algorithms are employed to tackle all specific issues. Specifically, a significant number of data has been collected from various walnut orchards and has been manually labelled by expert agronomists. Additionally, multiple convolutional neural network architectures are utilized, since they are highly capable of extracting features and useful information from complex images. The proposed methodology comprises of three consecutive tasks, aiming to offer a holistic solution towards the identification of infected trees, in order to mitigate the disease’s spread and preserve the crop production and yield. The first task tackles the issue of tree localization within orchards with the use of semantic segmentation, from images taken by unmanned aerial vehicles, under a large variety of conditions and throughout all seasons. Once the proper localization is complete, unmanned ground vehicles receive the information to autonomously navigate through the orchard and inspect each tree individually, leading to the next phase. The second step concerns the detection of disease infected leaves, specifically anthracnose, in images of walnut trees, a high value crop. Final step is to properly classify the images of disease-infected leaves and approximate the level of infection in each tree. Outcome of this methodology is a variability map of the orchard and the extent of the disease spread within it, which can then be used by automatic precision spraying systems or manual operations to treat the trees with the minimum possible resources.Each task of the proposed methodology has been thoroughly investigated, tested and evaluated for application in real-life agricultural environments. Aim of the present thesis is to develop a methodology that is not just applicable in real-life operational environments, but also achieves high performance, robustness, and generalization, a demanding task due to the complex and variable nature of the agricultural environments. All targets have been met for each one of the tasks, leading to the publication of three scientific papers in esteemed peer-reviewed journals, proving the scientific soundness of all approaches. Future goals of the proposed methodology include, but are not limited to, further development based on the potential of the methodology, and direct implementation in real-life farming systems.

Η εποχή που διανύουμε καθορίζεται από μια τεράστια αφθονία δεδομένων. Σε παγκόσμιο επίπεδο, η συσσώρευση δεδομένων αυξάνεται εκθετικά κάθε χρόνο, οδηγώντας σε τεράστιους όγκους δεδομένων που περιέχουν χρήσιμες πληροφορίες. Η μηχανική μάθηση, ένα σύνολο αλγοριθμικών προσεγγίσεων που αξιοποιούν δεδομένα για την ανάπτυξη μαθηματικών μοντέλων, έχει βρει πρόσφορο έδαφος για να αναπτυχθεί. Η εφαρμογή της μηχανικής μάθησης ήταν εκτενής τα τελευταία χρόνια, όχι μόνο λόγω της πρόσφατης ευρείας διαθεσιμότητας δεδομένων, αλλά και λόγω της εύκολης και οικονομικής πρόσβασης σε υπολογιστικά συστήματα υψηλής απόδοσης. Στους περισσότερους τομείς, η εφαρμογή μοντέλων μηχανικής μάθησης έφερε λύσεις σε πολύπλοκα, προηγουμένως ανέφικτα, προβλήματα και υψηλές επιδόσεις στον τομέα εφαρμογής τους, οδηγώντας σε μια σημαντική του κατεστημένου. Παρόλη την ευρεία εφαρμογή μοντέλων μηχανικής μάθησης, έχει εντοπιστεί ένα κενό στον τομέα της Γεωργίας, του μόνου τομέα που υστερεί σταθερά στις τεχνολογικές εξελίξεις, παρόλο που είναι ιδιαίτερα σημαντικός και ανήκει στην πρωτογενή παραγωγή. Η ανάγκη για γρήγορη τεχνολογική προσαρμογή στη γεωργία είναι σημαντική, λόγω της ραγδαίας αύξησης του παγκόσμιου πληθυσμού, που οδηγεί σε υπερπληθυσμό και τις δυσμενείς επιπτώσεις της κλιματικής αλλαγής.Το πρόβλημα που αντιμετωπίζει η παρούσα διδακτορική διατριβή είναι ο ακριβής εντοπισμός ασθενειών σε φύλλα δέντρων, που βρίσκονται σε οπωρώνες με καλλιέργειες υψηλής αξίας. Τα αγροτικά λειτουργικά περιβάλλοντα είναι εξαιρετικά πολύπλοκα και η ανίχνευση ασθενειών είναι σημαντικό πρόβλημα καθώς η λύση πρέπει να βασίζεται στην υπολογιστική όραση. Επομένως η χρήση μεγάλου όγκου δεδομένων απεικόνισης και εξελιγμένων αλγορίθμων μηχανικής μάθησης, είναι απαραίτητα για την αντιμετώπιση όλων των ειδικών προβλημάτων. Συγκεκριμένα, μεγάλος όγκος δεδομένων (φωτογραφιών) έχει συλλεχθεί από μια σειρά οπωρώνων με καλλιέργειες καρυδιάς, και όλες οι φωτογραφίες έχουν επισημανθεί χειροκίνητα από γεωπόνους, ειδικούς στην αναγνώριση ασθενειών. Επιπλέον, χρησιμοποιούνται πολλαπλές αρχιτεκτονικές συνελικτικών νευρωνικών δικτύων, καθώς είναι εξαιρετικά ικανές να εξάγουν χαρακτηριστικά και χρήσιμες πληροφορίες από σύνθετες εικόνες. Η προτεινόμενη μεθοδολογία αποτελείται από τρεις διαδοχικές διεργασίες, με στόχο να προσφέρει μια ολιστική λύση για την αναγνώριση των προσβεβλημένων δέντρων, προκειμένου να είναι δυνατόν να μετριαστεί η εξάπλωση της νόσου στους οπωρώνες και να διατηρηθεί η φυτική παραγωγή και απόδοση. Η πρώτη διεργασία αντιμετωπίζει το ζήτημα του εντοπισμού των δέντρων εντός των οπωρώνων με τη χρήση σημασιολογικής κατάτμησης, από εικόνες που λαμβάνονται από μη επανδρωμένα εναέρια οχήματα, κάτω από μια μεγάλη ποικιλία συνθηκών και κατά τη διάρκεια όλων των εποχών. Μόλις ολοκληρωθεί ο κατάλληλος εντοπισμός και οριστούν οι τοποθεσίες των δέντρων, μη επανδρωμένα οχήματα εδάφους λαμβάνουν τις πληροφορίες ώστε να πλοηγηθούν αυτόνομα στον οπωρώνα και να επιθεωρήσουν κάθε δέντρο ξεχωριστά, ώστε να προβούν στην επόμενη φάση. Το δεύτερο βήμα αφορά στην ανίχνευση μολυσμένων φύλλων από εικόνες που έχουν ληφθεί σε επίπεδο δέντρου, σε πραγματικά καλλιεργητικά περιβάλλοντα. Τέλος, το τρίτο βήμα αφορά στη σωστή ταξινόμηση των εικόνων των μολυσμένων από ασθένεια, και συγκεκριμένα ανθράκωση, φύλλων καρυδιάς, και η προσέγγιση του επιπέδου μόλυνσης σε κάθε δέντρο. Αποτέλεσμα αυτής της μεθοδολογίας είναι ένας χάρτης παραλλακτικότητας του οπωρώνα, καθώς και της έκτασης της εξάπλωσης της νόσου μέσα σε αυτόν. Τα αποτελέσματα της μεθοδολογίας μπορούν στη συνέχεια να χρησιμοποιηθούν για τη θεραπεία των δέντρων από αυτόματα συστήματα ψεκασμού ακριβείας ή χειροκίνητες εργασίες, αλλά με τους ελάχιστους δυνατούς πόρους.Κάθε μία διεργασία της προτεινόμενης μεθοδολογίας έχει διερευνηθεί, δοκιμαστεί και αξιολογηθεί διεξοδικά για εφαρμογή σε πραγματικά αγροτικά περιβάλλοντα. Σκοπός της παρούσας διδακτορικής διατριβής είναι η ανάπτυξη μιας ευφυούς μεθοδολογίας με βάση την τεχνητή νοημοσύνη, που δεν είναι απλά εφαρμόσιμη σε πραγματικά λειτουργικά περιβάλλοντα, αλλά καταφέρνει να επιτύχει υψηλή και γενικευμένη απόδοση, κάτι το οποίο είναι απαιτητικό λόγω της πολύπλοκης και μεταβλητής φύσης των αγροτικών περιβαλλόντων. Όλοι οι στόχοι έχουν επιτευχθεί για κάθε ένα από τα επιμέρους προβλήματα, κάτι το οποίο οδήγησε στη δημοσίευση τριών επιστημονικών εργασιών σε έγκριτα επιστημονικά περιοδικά, αποδεικνύοντας την επιστημονική ορθότητα όλων των προσεγγίσεων. Οι μελλοντικοί στόχοι της προτεινόμενης μεθοδολογίας περιλαμβάνουν περαιτέρω ανάπτυξη της μεθοδολογίας με βάση την δυναμική της στην άμεση εφαρμογή σε πραγματικές γεωργικές καλλιέργειες διαφόρων ειδών.