Allergic rhinitis passive detection, assessment, and monitoring using artificial intelligence of things (AloT) and crowdsensing: from the spatiotemporal large-scale to the individual-scale, passive, and non-intrusive sensing

Abstract

Allergy-related respiratory diseases, such as asthma and rhinitis that coexist with the term respiratory allergy, are a major and growing public health problem in Greece and worldwide. Today, 70 million Europeans suffer from chronic asthma and 100 million from allergic rhinitis. Among them, a significant percentage suffer from a severe form of allergic disease, which affects their productivity and quality of life. These numbers are expected to increase in the coming decades, establishing respiratory allergy as a pandemic. It is estimated that the cost of rhinitis in Europe amounts to more than 100 billion euros per year. The main goals of the respective treatment are summarized in the monitoring and control of the symptoms, their treatment, and the effort to prevent future seizures. At the same time, the causal association with allergens is sought, in order to follow a special desensitization treatment in them. However, monitoring patients with allergic respiratory diseases is notably difficult. The aim of this work is to create an integrated, sensor- and crowdsourcing-based, eHealth/mHealth approach that is deployed in wireless environments, which adopts the principles of Healthcare 5.0 for the intelligent, automatic, holistic, effective, and continuous monitoring of allergic rhinitis disease outbreaks. In this paradigm shift into the digital healthcare approach, a study is conducted which is distinguished into two main parts. Initially, a platform is delivered that is capable of the large-scale spatiotemporal detection and monitoring of the disease exacerbation, in real-time. Additionally, the association of the allergens' onset with the allergic disease symptoms and the levels of occurrence of various irritants in a region (humidity, dust) are examined. The data that feeds the platform is generated from multiple and different types of resources in the form of, sensor measurements that are distributed across a region, text data from social media, as well as data that comes from the users’ subjective assessments, combined with geolocation recordings, concerning the intensity of their allergic symptoms. An analysis mechanism is integrated into the platform, which can process the hybrid forms of data that include, sensor measurements analysis, text-mining, and subjective inputs analysis, where the latter is a part of the users’ participatory sensing. Afterward, by the developed visualization mechanisms, the platform’s role is to provide information, in an easy-to-understand way, about the patient's health status and statistical inferences in charts and plots regarding the various forms of allergic symptoms and the people that affect them. Additionally, a notification service is deployed in case of intense symptoms. It is obvious that this approach integrates both human and machine intelligence together with their hybrid interaction. Nevertheless, the real challenge is to provide a complete automated analysis and passive monitoring of the disease, based only on machine intelligence. For that purpose, the work that the second part of the study consists of is the design and development of another platform that aims at the intelligent and automatic evaluation and identification of kinesiological data that is related to an individual’s allergic rhinitis symptoms (such as scratching the nose). Thus, this part of the study is transferred from the large-scale to the individual-scale disease monitoring scenario. In particular, the motion data, in this study, is actually gestures that are retrieved from smart wrist-worn devices. A whole set of algorithmic components is developed for an end-to-end analysis in this phase. In particular, an innovative data processing pipeline is employed in association with the utilization of AI. Specifically, the usage of both statistical learning models and cutting-edge neural network architectures leads to the practical motion data evaluation and pattern recognition of allergic gestures in the users’ daily activities. As a case study, the introduced end-to-end machine learning pipeline is integrated and tested for its efficiency, for the first time, in a real-world scenario, in the context of the development of a national funded project, called Personal Allergy Tracer, where the multidisciplinarity is adopted by collaborating with recognized allergists that validated the whole approach in real patients via a pilot phase. Additionally, as this thesis is a part of the project, another system is deployed, which is related to the individual’s allergic rhinitis status non-invasive monitoring, by utilizing all the data resources that the project owns. In particular, except for the motion data that pertains to the development of this thesis and is obtained by the smart wearables, the rest of the data that is exploited by this system, is retrieved by a smartphone application that is a major component of the project, and corresponds to: a) the analysis of voice alteration of the user that is obtained through the smartphones’ microphone, and, b) the subjective evaluation by the users regarding the intensity of their symptoms. Access to such data takes place through collaboration with established partners in the IT industry, in Greece. This multi-source data is then analyzed in a hybrid manner, and finally, the system induces the automated monitoring of respiratory allergy and acts as a sentinel and disease prevention tool for patients with allergic rhinitis symptoms. However, because AI is a major component in the various tasks of the analysis of this thesis, a framework has been developed capable of handling multi-domain end-to-end machine learning pipelines regarding the motion data evaluation and pattern recognition, as well as the classification of text data that is related to social media posts. The framework automates all the cutting-edge procedures from data processing, model training, fine-tuning, evaluation, and validation of the whole pipeline in the domains of time-series analysis and text-mining, and provides a Prediction Service for automatically deploying the pipeline in production. In conclusion, various benefits can arise from such an analysis of both approaches. For instance, the complementary collected information, from the crowdsourced data which constitutes the individuals’ subjective self-assessment and social media posts, as well as the sensors’ measurements, can lead to the better control and management of seasonal symptoms in cases of allergic diseases, where a medical decision support system can be formulated. The automated, passive, even geolocated, recording of symptoms’ exacerbations in combination with automated notification services can contribute significantly to the control of the disease, reducing morbidity and improving the quality of life of patients with respiratory allergy and their performance. It also has a positive impact on maintaining the productive capacity of patients with respiratory allergies at work or school.

Η παρούσα Διπλωματική Διατριβή (ΔΔ) σχετίζεται με μία ολιστική eHealth/mHealth προσέγγιση για την αυτοματοποιημένη, παθητική και μη παρεμβατική ανίχνευση και παρακολούθηση της αλλεργικής ρινίτιδας με τη χρήση των τεχνολογιών του πληθοπορισμού, της Τεχνητής Νοημοσύνης, και των δεδομένων αισθητήρων. Η παρακολούθηση του φαινομένου, συγκεκριμένα, πραγματοποιείται με έναν συμπληρωματικό τρόπο, τόσο χωροχρονικά, όσο και σε ατομικό επίπεδο, το οποίο αφορά την προσωποποιημένη ανίχνευση αλλεργικών συμπτωμάτων. Η Τεχνητή Νοημοσύνη ενεργεί σε διάφορα επίπεδα και σε διαφορετικούς τομείς κατά την παρούσα προσέγγιση. Για τον λόγο αυτό, αναπτύχθηκε ένα framework ικανό να αυτοματοποιεί τις διαδικασίες μηχανικής μάθησης (Machine Learning - ML), από άκρο σε άκρο, ώστε να παρέχει εύρωστα και αξιόπιστα αποτελέσματα κατά τη διαδικασία πρόβλεψης οντοτήτων στον πραγματικό κόσμο. Το framework υλοποιήθηκε με τέτοιο τρόπο που μπορεί αυτοματοποιημένα να προσαρμοστεί σε προβλήματα μηχανικής μάθησης, τα οποία αφορούν αναγνώριση προτύπων και ταξινόμηση χρονοσειρών, για δεδομένα που προκύπτουν από σήματα επιτάχυνσης και γωνιακής ταχύτητας, καθώς και ήχου, όπως επίσης ανάλυσης και ταξινόμησης δεδομένων κειμένου. Για τη χωροχρονική παρακολούθηση, στην Ελλάδα και στην Αμερική, δημιουργήθηκε μία πλατφόρμα, η οποία αξιοποιεί και επεξεργάζεται δεδομένα, τα οποία προέρχονται από 3 πηγές: α) σταθερούς σταθμούς αισθητήρων, τοποθετημένοι στην Ελλάδα και στην Αμερική, β) δεδομένα τοποθεσίας (GPS, GSM, Wi-Fi) σε συνδυασμό με υποκειμενικές μετρήσεις των συμπτωμάτων των χρηστών, και, γ) δημοσιεύσεις στα μέσα κοινωνικής δικτύωσης, που σχετίζονται με την ασθένεια. Τα υβριδικά δεδομένα δέχονται επεξεργασία, ενώ αναλύονται δυναμικά μέσω της χρήσης στατιστικών μεθόδων και μοντέλων μηχανικής μάθησης. Τα αποτελέσματα της ανάλυσης παρουσιάζονται σε διαδραστικούς χάρτες και γραφήματα υποδεικνύοντας την έξαρση του φαινομένου σε μια περιοχή, την επίδραση των αλλεργιογόνων στους πολίτες, καθώς και των συμπτωμάτων που παρουσιάζουν. Αντίστοιχα, η ατομική παρακολούθηση της ασθένειας, γίνεται με παθητικό τρόπο, με την χρήση φορετών συσκευών στον καρπό (wristband). Στο σημείο αυτό, αναπτύχθηκε μία διαφορετική πλατφόρμα, η οποία αξιοποιεί τα δεδομένα επιταχυνσιόμετρου και γυροσκοπίου. Με τη χρήση προηγμένων μεθόδων επεξεργασίας σημάτων, διαφορετικών αρχιτεκτονικών νευρωνικών δικτύων, οι οποίες υιοθετήθηκαν, αναβαθμίστηκαν και προσαρμόστηκαν στο πρόβλημα, καθώς και ενός συνόλου μηχανισμών που αναπτύχθηκαν και ενσωματώθηκαν για την ερμηνεία και παροχή αξιόπιστων αποτελεσμάτων (Explainable AI), επιτυγχάνεται η αποτελεσματική, αυτόματη, και παθητική παρακολούθηση της ασθένειας, μέσω των κινήσεων που εκτελεί ο χρήστης κατά την περίοδο των αλλεργικών συμπτωμάτων. Κατά την πειραματική διαδικασία, πραγματοποιήθηκε συλλογή δεδομένων τόσο από πραγματικούς ασθενείς, όσο και από υποκείμενα του Εργαστηρίου, μέσω ενός καινοτόμου διαδικτυακού εργαλείου συλλογής κινησιολογικών δεδομένων που αναπτύχθηκε. Τα δεδομένα αυτά χρησιμοποιήθηκαν στις φάσεις εκπαίδευσης και επικύρωσης. Η επικύρωση της πλατφόρμας, έγινε σε τελικούς χρήστες/ασθενείς, μέσω της διαδικασίας ενός πιλότου που έλαβε μέρος στο πλαίσιο ενός χρηματοδοτούμενου ερευνητικού Έργου, και του αντίστοιχου καινοτόμου μηχανισμού που υποδεικνύει την ικανότητα των μοντέλων νευρωνικών δικτύων να παρέχουν αξιόπιστες προβλέψεις. Τέλος, να σημειωθεί ότι, καθ’ όλη την ανάπτυξη της ΔΔ υπήρξε στενή συνεργασία με ιατρικό προσωπικό, το οποίο συμμετείχε στον καθορισμό των απαιτήσεων της πλατφόρμας, αλλά και την επικύρωσή της.