The development of EdgeML applications using TinyML

Abstract

This Ph.D. thesis was conducted in the Intelligent Systems Laboratory of the Department of Computer Science and Biomedical Informatics at the University of Thessaly. The focus of the thesis is to investigate the new field of Tiny Machine Learning, also known as TinyML. Machine Learning is an expanding field that is actively researched in both academic and industrial settings. The technology is employed in diverse domains, such as Internet of Things and Data Science. Moreover, Deep Learning, a subset of Machine Learning, is a highly utilized and prominent technology. The feasibility of this has been achieved by hardware breakthroughs and the capacity to extract vast quantities of data. The basic structure of Deep Learning closely mirrors the arrangement of neural networks found in the human brain. Researchers have redirected their focus towards compression approaches and optimization strategies to improve the overall efficiency of Deep Learning networks without sacrificing precision and performance due to the substantial computing load associated with these networks. The extensive adoption of both Machine Learning and Deep Learning techniques across several sectors enables the extraction of crucial insights from large volumes of data and the retrieval of vital information. In a typical IoT framework, data is gathered, interpreted, analyzed, and stored to monitor variables and forecast or anticipate events. Networked devices, such as sensors and actuators, generate data which is subsequently sent to the cloud for analysis and storage. IoT gateways are employed to establish a connection between the network of sensors and the cloud network. The previously stated optimization and compression approaches enabled the combination of embedded systems and Artificial Intelligence, resulting in the emergence of a new field called Edge AI. Edge AI is a nascent technology that can effectively tackle the difficulties faced by IoT devices. The gadgets in issue now have the capability to gather, analyze, and process data on the device itself in real-time, eliminating the need to send data to external entities. The potential to transform the architecture of smart applications and services lies in enabling machine intelligence at the network's edge, where data is generated. This can lead to the development of apps that possess enhanced safety, heightened privacy, and are unaffected by issues related to latency and bandwidth restrictions. These applications can operate on cost-effective and energy-conserving hardware, providing advantages to diverse sectors including healthcare, smart homes, agriculture, and automotive. TinyML is a fusion of hardware and software designed to enable the integration of Machine Learning models and neural networks on resource-constrained hardware, allowing for local processing. One significant advantage of the TinyML method is its capability to do real-time analysis of collected data, even in scenarios with constraints in latency and bandwidth. Furthermore, Internet of Things devices that integrate TinyML on their Microcontroller Units necessitate reduced dependence on cloud services. This results in cost and power efficiency, as well as enhanced security and privacy of data. The aforementioned benefits have led to the development of multiple applications utilizing TinyML in various industries, including healthcare, automotive, agricultural, security, and the industrial sector. Furthermore, the increasing prevalence and swift growth of TinyML led to the emergence of numerous development boards, frameworks, libraries, and other toolkits that are fully compatible with the technology under investigation. This thesis explores optimization strategies that can be used to generate models and neural networks suitable for constrained hardware. Moreover, a wide range of applications were developed across different sectors. Finally, a novel platform for profiling development boards used in TinyML technology has been developed.

Η παρούσα διδακτορική διατριβή εκπονήθηκε στο Εργαστήριο Ευφυών Συστημάτων του Τμήματος Πληροφορικής με εφαρμογές στην Βιοϊατρική του Πανεπιστημίου Θεσσαλίας. Το επίκεντρο της διατριβής είναι η διερεύνηση του νέου πεδίου της Mηχανικής Mάθησης, γνωστού και ως TinyML. Η Μηχανική Μάθηση είναι ένας αναπτυσσόμενος τομέας που ερευνάται ενεργά τόσο σε ακαδημαϊκό όσο και σε βιομηχανικό επίπεδο. Η τεχνολογία χρησιμοποιείται σε διάφορους τομείς, όπως το Διαδίκτυο των Πραγμάτων (IoT) και την Επιστήμη των Δεδομένων. Επιπλέον, η Βαθιά Μάθηση, ένα υποσύνολο της Μηχανικής Μάθησης, είναι μια ιδιαίτερα χρησιμοποιούμενη και σημαντική τεχνολογία. Η σκοπιμότητά της έχει επιτευχθεί χάρη στις ανακαλύψεις σε επίπεδο υλικού και την ικανότητα εξαγωγής μεγάλων ποσοτήτων δεδομένων. Η βασική δομή της Βαθιάς Μάθησης αντικατοπτρίζει στενά τη διάταξη των νευρωνικών δικτύων που βρίσκονται στον ανθρώπινο εγκέφαλο. Οι ερευνητές έχουν στρέψει την προσοχή τους σε προσεγγίσεις συμπίεσης και στρατηγικές βελτιστοποίησης για τη βελτίωση της συνολικής αποδοτικότητας των δικτύων Βαθιάς Μάθησης χωρίς να θυσιάσουν την ακρίβεια και την απόδοση, λόγω του σημαντικού υπολογιστικού φόρτου που συνδέεται με αυτά τα δίκτυα. Η εκτεταμένη υιοθέτηση τόσο της Μηχανικής Μάθησης όσο και των τεχνικών Βαθιάς Μάθησης σε διάφορους τομείς επιτρέπει την εξαγωγή κρίσιμων γνώσεων από μεγάλους όγκους δεδομένων και την ανάκτηση ζωτικής σημασίας πληροφοριών. Σε ένα τυπικό πλαίσιο IoT, τα δεδομένα συλλέγονται, ερμηνεύονται, αναλύονται και αποθηκεύονται για την παρακολούθηση μεταβλητών και την πρόγνωση ή την πρόβλεψη γεγονότων. Οι δικτυωμένες συσκευές, όπως οι αισθητήρες , παράγουν δεδομένα τα οποία στη συνέχεια αποστέλλονται στο Cloud για ανάλυση και αποθήκευση. Οι προαναφερθείσες προσεγγίσεις βελτιστοποίησης και συμπίεσης επέτρεψαν τον συνδυασμό ενσωματωμένων συστημάτων και τεχνητής νοημοσύνης, με αποτέλεσμα την εμφάνιση ενός νέου πεδίου που ονομάζεται Edge AI. Το Edge AI είναι μια εκκολαπτόμενη τεχνολογία που μπορεί να αντιμετωπίσει αποτελεσματικά τις δυσκολίες που αντιμετωπίζουν οι συσκευές IoT. Οι εν λόγω συσκευές έχουν πλέον τη δυνατότητα να συλλέγουν, να αναλύουν και να επεξεργάζονται δεδομένα στην ίδια τη συσκευή σε πραγματικό χρόνο, εξαλείφοντας την ανάγκη αποστολής δεδομένων σε εξωτερικές οντότητες. Η δυνατότητα μετασχηματισμού της αρχιτεκτονικής των έξυπνων εφαρμογών και υπηρεσιών έγκειται στην ενεργοποίηση της μηχανικής νοημοσύνης στην άκρη του δικτύου, όπου παράγονται τα δεδομένα. Αυτό μπορεί να οδηγήσει στην ανάπτυξη εφαρμογών που διαθέτουν αυξημένη ασφάλεια, αυξημένη ιδιωτικότητα και δεν επηρεάζονται από ζητήματα που σχετίζονται με την καθυστέρηση και τους περιορισμούς που αφορούν τη σύνδεση των συσκευών. Αυτές οι εφαρμογές μπορούν να λειτουργούν αποδοτικά με χαμηλό κόστος, παρέχοντας πλεονεκτήματα σε διάφορους τομείς, όπως η υγειονομική περίθαλψη, τα έξυπνα σπίτια, η γεωργία και η αυτοκινητοβιομηχανία. Το TinyML είναι μια συνεργασία υλικού και λογισμικού που έχει σχεδιαστεί για να επιτρέπει την ενσωμάτωση μοντέλων μηχανικής μάθησης και νευρωνικών δικτύων σε υλικό με περιορισμένους πόρους, επιτρέποντας την τοπική επεξεργασία. Ένα σημαντικό πλεονέκτημα της μεθόδου TinyML είναι η ικανότητά της να κάνει ανάλυση των συλλεγόμενων δεδομένων σε πραγματικό χρόνο δημιουργώντας έτσι ένα αυτόνομο σύστημα. Η παρούσα διατριβή διερευνά στρατηγικές βελτιστοποίησης που μπορούν να χρησιμοποιηθούν για τη δημιουργία μοντέλων και νευρωνικών δικτύων κατάλληλων για υλικό περιορισμένους υπολογιστικούς πόρους. Επιπλέον, στα πλαίσια της έρευνας αναπτύχθηκε ένα ευρύ φάσμα εφαρμογών σε διάφορους τομείς. Τέλος, αναπτύχθηκε μια νέα πλατφόρμα για την αξιολόγηση εφαρμογών, πλακετών και συστημάτων που χρησιμοποιούνται στην τεχνολογία TinyML τόσο σε επίπεδο ακρίβειας και ποιότητας του τελικού συστήματος, αλλά και με μετρήσεις που αφορούν τις καταναλώσεις ρεύματος, και προβλέψεις για τον χρόνο αυτονομίας σε επίπεδο μπαταρίας.