Automatic monitoring of insect fauna at global scales using wireless networks and opto-acoustic sensors

Abstract

This thesis introduces novel technological tools related to insects from various angles: hardware platforms that detect and register insect’s presence, data processing techniques and machine learning classification algorithms that identify the species. But why there is such necessity to detect and classify the humble and sometimes, unnoticed insects?Some insect species (moths and butterflies for example) are considered suitable indicators for biodiversity that is currently declining globally at an unknown and unmeasured rate. All insects play a vital role as they are discrete links in the biological dependence of species and are food sources for vertebrates. Therefore, they are not only important, but they are also crucial. However, many of them can reach high, damaging densities and severely impair plant processes in agricultural (several flies like the medfly, dacus, bactrocera dorsalis) and forest (e.g., wood boring insects) ecosystems. Some other like mosquitoes and biting midges pose a serious hygienic threat making the mosquitoes the deadliest animal on the planet. However, If we would prioritize the significance of insects to humans, we would describe this priority with a single phrase ‘they impact food production’. A grand challenge facing the 21st century is the sustainable production of food for the growing human population. The world population is projected to reach 10.4 billion people sometime in the 2080s. Technological means with the increasing availability of new sensors and electronic components and the associated collection of ‘big data’ aim at improving the sustainability of food production systems. The urgent necessity is to moderate crop losses due to insects while avoiding unnecessary spraying that has been deemed to impact human health in a negative way.Agronomists had always deployed traps (usually bottles or buckets) to trap and count pests as a means to assess the infestation situation. With time they had developed the so called ‘decision protocols’ to follow as a rule of thumb of what to do in the presence of a specific density of pests in agricultural fields and forests. In practice, reports from monitoring traps are not accepted blindly but serve as supportive evidence. Certified state entomologists adapt the rule to the particularities of different geographical parts of the country and integrate diverge sources of information before granting permission for large-scale spraying. Reports coming out of manual monitoring of traps are accepted with a varying degree of trust. The main difficulty of this procedure is that a large number of traps must be strategically placed in orchards, sometimes on distant and remote locations and numerous people should place, maintain and inspect the traps on a 5-day basis from the end of spring till the end of fall. The pest-managers must discern the pest in the mass of collected maze of dead insects and even extract and deliver the pest to authorities for verification. This procedure is complicated, it involves a large number of people that are not always qualified to carry the task but, most importantly, can be easily bypassed by practitioners. Therefore, large economic loss is often reported because of the pest and this is usually attributed by expert entomologists not to the inefficiency of the monitoring protocol but to its opportunistic application that often leads to an ‘educated guess’ of when and where to start the treatment procedure.From both a conceptual and management perspective, there is an urgent need to increase the information flow over large areas and through time from the field-traps and in other cases probes, straight to a central monitoring agency, as well as to visualize and summarize this flow in a statistically reliable sense. To this end, this thesis develops technologies to improve, expand and automate global monitoring of insects of economic and hygienic importance.Τhis study required intensive interdisciplinary collaboration and consultation with specialists and experts from various disparate fields of science such as: low-power electronics, optoelectronics, data science, artificial intelligence, and entomology. Automatic detection of such insects is crucial to the future of crop protection by providing critical information to the appropriate personnel in a timely manner to assess the risk to a crop or a tree and the need for preventative measures.We develop novel single and multispectral sensors (hardware and microprocessor’s software) to record the wingbeat of flying insects. The wingbeat frequency and its harmonics are associated to species identity like the human voice to an individual. We describe new optical sensing techniques in which the light scattered by the beating wings of a flying insect and its casted shadow variations are recorded by a sensor that outputs a recording. We fabricate novel bee-counters that are attached to beehives and count the traffic of incoming/outgoing bees.We subsequently developed a new type of sensor that is attached to trees and records the woodboring insects the chew or move inside the tree and wirelessly uploads the vibrational snippets to a remote server.Finally, we introduce the electronic funnel trap (e-funnel) of automatic monitoring for all the Lepidoptera species with known pheromone. The e-funnels carry an optical counter that counts captures of Lepidopterans and form their own network based on the long range (LoRa) radio technology. The gateway of the network reports collection results of insect counts, GPS locations, timestamps and temperature to a cloud server.

Η παρούσα διατριβή εισάγει νέα τεχνολογικά εργαλεία στην εντομολογία και στην τεχνολογία της γεωπονίας που βοηθούν στην παρατήρηση, τον εντοπισμό και την αναγνώριση είδους των εντόμων. Προτείνονται νέες συσκευές και υλικό λογισμικού που ανιχνεύει και καταγράφει την παρουσία των εντόμων, τεχνικές επεξεργασίας δεδομένων και αλγόριθμους μηχανικής μάθησης που αναγνωρίζουν το είδος. Γιατί όμως υπάρχει η ανάγκη ώστε να εντοπιστούν και να ταξινομηθούν τα ταπεινά και μερικές φορές απαρατήρητα έντομα;Ορισμένα είδη εντόμων (τα λεπιδόπτερα για παράδειγμα) θεωρούνται κατάλληλοι δείκτες για τη βιοποικιλότητα που σήμερα μειώνεται παγκοσμίως με άγνωστο ρυθμό. Όλα τα έντομα διαδραματίζουν ζωτικό ρόλο καθώς αποτελούν διακριτούς κρίκους στη βιολογική εξάρτηση των ειδών και αποτελούν πηγές τροφής για τα σπονδυλωτά. Ως εκ τούτου, δεν είναι μόνο σημαντικά, αλλά και κρίσιμης σημασίας. Ωστόσο, πολλά από αυτά μπορούν να φτάσουν σε υψηλές, επιζήμιες πυκνότητες και να βλάψουν σοβαρά τις καλλιέργειες στην γεωργία (αρκετές μύγες όπως η μύγα της Μεσογείου, ο δάκος, η bactrocera dorsalis) και τα ξυλοφάγα έντομα. Κάποια άλλα, όπως τα κουνούπια και ορισμένες σκνίπες, αποτελούν σοβαρή απειλή για την υγιεινή, καθιστώντας τα κουνούπια το πιο θανατηφόρο ζώο στον πλανήτη. Ωστόσο, αν έπρεπε να δώσουμε ένα επιχείρημα για τη σημασία των εντόμων για τον άνθρωπο, θα περιγράφαμε αυτή την προτεραιότητα με μια μόνο φράση «επηρεάζουν την παραγωγή τροφίμων».Μια μεγάλη πρόκληση που αντιμετωπίζει ο 21ος αιώνας είναι η βιώσιμη παραγωγή τροφίμων για τον αυξανόμενο ανθρώπινο πληθυσμό. Ο παγκόσμιος πληθυσμός προβλέπεται να φτάσει τα 10,4 δισεκατομμύρια άτομα στη δεκαετία του 2080. Τα τεχνολογικά μέσα και η αυξανόμενη διαθεσιμότητα νέων αισθητήρων και ηλεκτρονικών συσκευών και η συλλογή «μεγάλων δεδομένων» στοχεύουν στη βελτίωση της βιωσιμότητας των συστημάτων παραγωγής τροφίμων. Υπάρχει επείγουσα ανάγκη να μετριαστούν οι απώλειες των καλλιεργειών λόγω των εντόμων, αποφεύγοντας παράλληλα περιττούς ψεκασμούς που έχει αποδειχθεί ότι επηρεάζουν αρνητικά την ανθρώπινη υγεία.Οι γεωπόνοι ανέκαθεν χρησιμοποιούσαν παγίδες (συνήθως μπουκάλια ή κουβάδες) για να παγιδεύουν και να μετρούν τα έντομα ως μέσο αξιολόγησης της κατάστασης προσβολής. Με τον καιρό είχαν αναπτύξει τα λεγόμενα «πρωτόκολλα απόφασης» που έπρεπε να ακολουθήσουν ως εμπειρικό κανόνα για το τι πρέπει να κάνουν παρουσία συγκεκριμένης πυκνότητας εντόμων σε αγροτικές περιοχές και δάση. Στην πράξη, οι αναφορές από παγίδες παρακολούθησης δεν γίνονται δεκτές στα τυφλά αλλά χρησιμεύουν ως υποστηρικτικά στοιχεία. Οι πιστοποιημένοι κρατικοί εντομολόγοι προσαρμόζουν τον κανόνα στις ιδιαιτερότητες διαφορετικών γεωγραφικών περιοχών της χώρας και ενσωματώνουν διαφορετικές πηγές πληροφοριών πριν χορηγήσουν άδεια για ψεκασμούς μεγάλης κλίμακας. Οι αναφορές που προέρχονται από την ανθρώπινη παρακολούθηση παγίδων γίνονται δεκτές με διαφορετικό βαθμό εμπιστοσύνης. Η κύρια δυσκολία αυτής της διαδικασίας είναι ότι ένας μεγάλος αριθμός παγίδων πρέπει να τοποθετηθεί στρατηγικά σε αγροκτήματα, μερικές φορές σε απομακρυσμένες τοποθεσίες και πολλοί άνθρωποι θα πρέπει να τοποθετούν, να συντηρούν και να επιθεωρούν τις παγίδες κάθε 5 ημέρες από το τέλος της Άνοιξης μέχρι το τέλος Φθινοπώρου. Οι επόπτες των καλλιεργειών πρέπει να διακρίνουν το το έντομο-στόχο του συλλεγόμενου πλήθους των νεκρών εντόμων και ακόμη να εξαγάγουν και να παραδώσουν έντομα (πχ δάκους) στις αρχές για επαλήθευση. Αυτή η διαδικασία είναι περίπλοκη, περιλαμβάνει μεγάλο αριθμό ανθρώπων που δεν έχουν πάντα τα προσόντα για να φέρουν εις πέρας την εργασία, αλλά το πιο σημαντικό, μπορούν εύκολα να παρακαμφθούν. Ως εκ τούτου, συχνά αναφέρεται μεγάλη οικονομική ζημία λόγω των εντόμων-προσβολέων και αυτό συνήθως αποδίδεται από τους ειδικούς εντομολόγους όχι στην αναποτελεσματικότητα του πρωτοκόλλου παρακολούθησης αλλά στην ευκαιριακή εφαρμογή του που συχνά οδηγεί σε μια εικασίαγια το πότε και από πού (χωρικές συντεταγμένες) να ξεκινήσει η διαδικασία αντιμετώπισης.Από διαχειριστική άποψη, υπάρχει επείγουσα ανάγκη να αυξηθεί η ροή πληροφοριών αναπτυγμένες σε μεγάλες περιοχές για μεγάλη χρονική διάρκεια από τις εντομολογικές παγίδες , κατευθείαν σε μια κεντρική υπηρεσία παρακολούθησης, καθώς και να οπτικοποιηθεί και να συνοψιστεί αυτή η ροή με στατιστικά αξιόπιστα αποτελέσματα. Για το σκοπό αυτό, η παρούσα διατριβή αναπτύσσει τεχνολογίες για τη βελτίωση, την επέκταση και την αυτοματοποίηση της παρακολούθησης σε μεγάλη κλίμακα των εντόμων οικονομικής και υγειονομικής σημασίας.Η ανάπτυξη αυτής της τεχνολογίας απαιτεί γνώσεις από διάφορους τομείς της επιστήμης όπως: ηλεκτρονικά χαμηλής κατανάλωσης, οπτο-ηλεκτρονική, επιστήμη δεδομένων, τεχνητή νοημοσύνη και εντομολογία. Αναπτύσσουμε νέους απλούς και πολυφασματικούς αισθητήρες (υλικό και λογισμικό μικροεπεξεργαστή) για να καταγράψουμε το φτερούγισμα των ιπτάμενων εντόμων. Η συχνότητα των φτερών και οι αρμονικές της συνδέονται με την ταυτότητα του είδους όπως η φωνή ενός ανθρώπου. Περιγράφουμε νέες τεχνικές οπτικής ανίχνευσης στις οποίες το φως που ανακλάται από τα φτερά ενός ιπτάμενου εντόμου και οι παραλλαγές της σκιάς του καταγράφονται από έναν αισθητήρα που εξάγει μια εγγραφή σε αρχείο ήχου. Κατασκευάζουμε νέους μετρητές μελισσών που είναι προσαρτημένοι σε κυψέλες και μετρούν την κίνηση των εισερχόμενων/εξερχομένων μελισσών.Στη συνέχεια, αναπτύξαμε έναν νέο τύπο αισθητήρα που τοποθετείται σε δέντρα και καταγράφει τα έντομα που μεταβολίζουν ή κινούνται μέσα στο δέντρο και στέλνει ασύρματα ηχογραφήσεις δόνησης (αρχεία ήχου .mp3) σε έναν απομακρυσμένο διακομιστή.Τέλος, εισάγουμε την ηλεκτρονική παγίδα funnel (e-funnel) αυτόματης παρακολούθησης για όλα τα είδη λεπιδόπτερων με γνωστή φερομόνη. Οι e-funnels φέρουν έναν οπτικό μετρητή που μετρά τις συλλήψεις λεπιδοπτέρων και σχηματίζουν δικό τους δίκτυο με χρήση της ασύρματης τεχνολογίας μεγάλης εμβέλειας LoRa. Το LoRa gateway συλλέγει και αναφέρει τα αποτελέσματα συλλογής μετρήσεων εντόμων, τοποθεσιών GPS, χρονικών σημάνσεων και θερμοκρασίας σε έναν διακομιστή νέφους.