Study and implementation of an innovative fully autonomous flying robotic system for life-saving services

Abstract

The major issue during crisis events occurrence is the immediate reaction and the provision of emergency services to humans in imminent danger. As human survival chances are negatively correlated with detection time, the response time is a vital factor in Search and Rescue (SAR) operations, thus potential delays may have dramatic and even lethal results. Moreover, the safety of rescue workers is another major issue and must be ensured in any circumstance. Unmanned Aerial Vehicles (UAVs) technology can provide a critical and multifaceted support in SAR missions. Given the fact that the faster these operations are planned and executed, the greater the chances of success they get, these aerial robots are ideal candidates for such applications owed to their ability of being nimble, quick-moving and easily programmed to exhibit autonomous behaviors. Hence, with the aim to increase the prospects of distressed people to remain alive, robotic rescue systems—either remote controlled or autonomous ones—must be instantaneously available, to provide a robust helping hand to rescuers, thus boosting their performance and ensuring their own safety. The doctoral dissertation in hand deals with the study and implementation of a novel fully autonomous UAV-based rescue platform for life-saving services, by combining Global Navigation Satellite System (GNSS) methods and state-of-the-art deep learning techniques. Specifically, the proposed Autonomous Aerial Rescue System (AARS), namely the ROLFER (RObotic Lifeguard For Emergency Rescue), is capable of precisely locating and providing instantaneous emergency services to humans in peril during critical events. The main system’s components are: a completely autonomous rescue UAV and its bearing equipment, the Ground Control Station (GCS) including all the apparent software and hardware for the system’s proper functionality, as well as the wearable equipment carried by humans in peril for the distress signal transmission. The rescue system’s Key Performance Indicators (KPI) are to: (i) be fully autonomous, i.e. guided solely by data provided by the distressed human’s wearable equipment without requiring to include human-in-the-loop, (ii) provide fast reaction as possible, i.e. to minimize the intervention time a UAV needs to provide invaluable assistance to a human in the context of an emergency and (iii) precisely detect the human in peril as well to accurately release the rescue equipment. The importance of not wasting the critical response time, as well as taking into serious consideration any other vital parameter during a SAR operation is obvious. The main objectives of this research are summarized as follows: The study, design and implementation of a fully autonomous aerial robotic system for the provision of life-saving services to humans in peril, The deployment of two human rescue scenarios in both maritime and terrestrial environments, The detection of human in peril using several accurate advanced Global Positioning System (GPS)/Global Navigation Satellite System (GNSS)-based localization methods, The detection, tracking and localization of human in peril using advanced image processing techniques as well as the precise rescue apparatus release, The hazard identification and risk analysis of the proposed AARS for the elimination of potential threats to both human in peril and rescue workers, by applying System Theoretic Process Analysis (STPA). Thus, the structure of the dissertation in hand is mainly based on the aforementioned objectives. In particular, Chapter 1 introduces the utilization of robotic systems in SAR operations including some crucial information about UAVs, a review of the related literature, as well the contribution of this dissertation within the state of art. Chapter 2 presents the proposed aerial rescue support system’s architecture and functionality, concerning details about both software and hardware configuration, as well as the system’s performance evaluation in terms of both accuracy and intervention time. Moreover, Chapter 3 addresses the issue of precise localization of the distressed human by implementing advanced geolocalization techniques (e.g. Real Time Kinematics (RTK)-GPS). Thus, an enhanced positioning system which grounds on a specially customized wearable device is proposed, allowing the precise positioning of human in peril. Both hardware and software configuration of the designed novel prototype are described. Experimental results from real flight tests of the proposed AARS and the effectiveness of the implemented moving-base RTK-GPS-based wearable apparatus are also discussed in detail. Chapter 4 presents the vision-based punctual and precise detection of humans in peril from the proposed AARS. In particular, human detection is implemented based on two different approaches:a)by utilizing deep learning techniques on-board the autonomous system’s rescue UAV for the human in peril in maritime environmentb)by combining RTK-GPS techniques and advanced image processing algorithms on the proposed rescue system’s GCS for the human in peril in terrestrial environment. Two suitable datasets, including human in peril in both maritime and terrestrial environments have been created for the computer vision algorithms training. Hardware and software configuration, as well experimental results for the accurate human detection and rescue apparatus fall down are presented in detail. In Chapter 5, a hazard identification and risk analysis of the proposed AARS, for the elimination of potential threats to both human in peril and rescue workers from the proposed system functionality is presented. The objectives of this analysis are a) to introduce the idea of analyzing the system by dividing it in separate operational modes and b) to feature the advantages of applying a systemic STPA-based safety approach on a SAR mission recruiting the use of UAVs. The dissertation is concluded in Chapter 6 where our findings are summarized and future work is mentioned.The doctoral dissertation in hand has been conducted in the Laboratory of Robotics and Automation of the Department of Production and Management of DUTh, which expertizes in such systems implementations.

Το μεγαλύτερο πρόβλημα κατά την διάρκεια καταστάσεων εκτάκτου ανάγκης είναι η άμεση αντίδραση και η παροχή βοηθειών πρώτης ανάγκης στα υπό κίνδυνο άτομα. Λαμβάνοντας υπ’ όψιν ότι οι πιθανότητες επιβίωσης του υπό κίνδυνο ατόμου μειώνονται δραματικά με την πάροδο του χρόνου ανίχνευσης του, ο χρόνος αντίδρασης αποτελεί καίριας σημασίας παράγοντα κατά τη διάρκεια των επιχειρήσεων έρευνας και διάσωσης καθώς ενδεχόμενες καθυστερήσεις μπορεί να οδηγήσουν σε δραματικά αποτελέσματα. Επιπλέον, η ασφάλεια των μελών των ομάδων διάσωσης αποτελεί ένα άλλο μείζoν θέμα και θα πρέπει να διασφαλιστεί σε κάθε περίπτωση. Τα μη-επανδρωμένα εναέρια οχήματα (UAVs) μπορούν να παρέχουν αποφασιστικής σημασίας και πολυπρόσωπη στήριξη στις επιχειρήσεις έρευνας και διάσωσης αφού πρόκειται για γρήγορα και ευέλικτα εναέρια ρομποτικά συστήματα τα οποία μπορούν να προγραμματιστούν εύκολα προκειμένου να λειτουργούν πλήρως αυτόνομα. Συνεπώς, έχοντας ως στόχο να αυξήσουν τις πιθανότητες διάσωσης των υπό κίνδυνο ατόμων, τα ρομποτικά εναέρια οχήματα-είτε τηλεκατευθυνόμενα είτε πλήρως αυτόνομα- οφείλουν να είναι πάντα διαθέσιμα να προσφέρουν ένα χρήσιμο χέρι βοηθείας στις διασωστικές ομάδες ενισχύοντας παράλληλα την απόδοση τους και εξασφαλίζοντας την σωματική ακεραιότητα των εργαζόμενων σε αυτές. Η παρούσα διδακτορική διατριβή πραγματεύεται την μελέτη και την υλοποίηση ενός καινοτόμου πλήρως αυτόνομου ρομποτικού συστήματος διάσωσης βασισμένο στη τεχνολογία των UAVs. Η υλοποίηση και η λειτουργικότητα του προτεινόμενου συστήματος βασίζεται στην συνδυαστική χρήση προηγμένων μεθόδων γεωεντοπισμού και αλγορίθμων βαθιάς μάθησης. Συγκεκριμένα, το προτεινόμενο σύστημα με το ακρωνύμιο ROLFER (Robotic Lifeguard For Emergency Rescue), καθιστά εφικτό τον ακριβή εντοπισμό και την παροχή του κατάλληλου εξοπλισμού βοήθειας στα υπό κίνδυνο άτομα κατά τη διάρκεια καταστάσεων εκτάκτου ανάγκης. Τα κύρια μέρη του προτεινόμενου συστήματος είναι: το πλήρως αυτόνομο διασωστικό UAV με τον απαραίτητο φερόμενο εξοπλισμό βοήθειας, ο επίγειος σταθμός βάσης με το απαραίτητο υλικό (hardware) και λογισμικό (software) για την εύρυθμη λειτουργία του συστήματος, καθώς επίσης και ο κατάλληλος φορητός εξοπλισμός του χρήστη (άτομο σε κίνδυνο) για την εκπομπή του σήματος κινδύνου. Επιπλέον, η μελέτη και υλοποίηση ενός σεναρίου διάσωσης σε υδάτινο και χερσαίο περιβάλλον εξετάζεται διεξοδικά. Οι κύριοι στόχοι της παρούσας διδακτορικής διατριβής συνοψίζονται ως εξής: Η μελέτη, ο σχεδιασμός και η υλοποίηση ενός πλήρως αυτόνομου ρομποτικού συστήματος εναέριας παροχής βοήθειας για την παροχή απαραίτητου εξοπλισμού σε άτομα που βρίσκονται σε κίνδυνο, Η ανάπτυξη σεναρίου διάσωσης σε θαλάσσιο και χερσαίο περιβάλλον, Ο εντοπισμός του ατόμου σε κίνδυνο με τη χρήση διαφόρων προηγμένων μεθόδων που βασίζονται στη χρήση γεωεντοπισμού (παγκόσμιο σύστημα δορυφορικής πλοήγησης), Ο εντοπισμός, παρακολούθηση και χωροθέτηση του ατόμου σε κίνδυνο με τη χρήση προηγμένων τεχνικών επεξεργασίας εικόνας για την απελευθέρωση του κατάλληλου εξοπλισμού με υψηλή ακρίβεια, Η ανάλυση επικινδυνότητας του προτεινόμενου εναέριου ρομποτικού συστήματος με εφαρμογή της εξειδικευμένης μεθόδου STPA, για την εύρεση των προδιαγραφών ασφαλείας του καθώς και για την ελαχιστοποίηση των πιθανών απειλών τόσο για το άτομο που κινδυνεύει όσο και για την ομάδα διάσωσης. Συνεπώς, η δομή της παρούσας διδακτορικής διατριβής βασίζεται στους παραπάνω σκοπούς. Συγκεκριμένα, στο Κεφάλαιο 1 γίνεται εισαγωγή της χρήσης των ρομποτικών συστημάτων στις επιχειρήσεις έρευνας και διάσωσης, συμπεριλαμβάνοντας χρήσιμες πληροφορίες σχετικά με τα μη-επανδρωμένα εναέρια οχήματα (UAVs), εκτενή ανασκόπηση της σχετικής βιβλιογραφίας, καθώς επίσης και την συνεισφορά της παρούσας διατριβής στην επιστήμη. Στο Κεφάλαιο 2 παρουσιάζεται η δομή και η αρχιτεκτονική του προτεινόμενου διασωστικού συστήματος συμπεριλαμβανομένων και των λεπτομερειών τόσο του υλικού (hardware) όσο και του λογισμικού (software), καθώς επίσης και την αξιολόγηση του σε θέματα σχετικά με την ακρίβεια και του χρόνου παρέμβασης του. Στο Κεφάλαιο 3 εξετάζεται ο ακριβής εντοπισμός της θέσης του υπό κίνδυνο ατόμου με χρήση προηγμένων τεχνικών γεωεντοπισμού (RTK-GPS). Συγκεκριμένα παρουσιάζεται ένα βελτιωμένο σύστημα εντοπισμού το οποίο βασίζεται σε μια προσαρμοσμένη φορητή συσκευή που επιτρέπει τον εντοπισμό της θέσης του ατόμου σε κίνδυνο με ακρίβεια μερικών εκατοστών. Αποτελέσματα από την αξιολόγηση της χρήσης της συγκεκριμένης πρωτότυπης συσκευής περιγράφονται λεπτομερώς. Η υλοποίηση και εφαρμογή προηγμένων αλγορίθμων επεξεργασίας εικόνας για την βέλτιστη δυνατή ακρίβεια εντοπισμού της θέσης του ατόμου που κινδυνεύει παρουσιάζεται στο Κεφάλαιο 4. Συγκεκριμένα, η υλοποίηση αυτή πραγματοποιείται με δύο διαφορετικές προσεγγίσεις: α) με την χρήση αλγορίθμων βαθιάς μάθησης ενσωματωμένων στο αυτόνομο μη-επανδρωμένο εναέριο όχημα, για τον εντοπισμό του υπό-κίνδυνο ατόμου σε υδάτινο περιβάλλον, β) με συνδυαστική χρήση προηγμένων μεθόδων γεωεντοπισμού (RTK-GPS) και προηγμένων αλγορίθμων υπολογιστικής όρασης στον επίγειο σταθμό βάσης του συστήματος, για τον εντοπισμό του ατόμου σε χερσαίο περιβάλλον. Για το σκοπό αυτό, έχουν δημιουργηθεί δύο διαφορετικά σετ δεδομένων (dataset) που εμπεριέχουν εικόνες ατόμων σε κίνδυνο τόσο σε χερσαίο όσο και σε υδάτινο περιβάλλον. Με βάση αυτά τα σετ δεδομένων πραγματοποιήθηκε η εκπαίδευση των αλγορίθμων υπολογιστικής όρασης. Επιπλέον, παρουσιάζονται αναλυτικά πειραματικά αποτελέσματα από δοκιμές του συστήματος σε πραγματικές συνθήκες σχετικά με την ακρίβεια του εντοπισμού του ανθρώπου όσο και της απελευθέρωσης του διασωστικού εξοπλισμού. Τέλος, το Κεφάλαιο 5 παρουσιάζει την ανάλυση επικινδυνότητας του προτεινόμενου συστήματος για την απαλοιφή πιθανών απειλών και κινδύνων που θα μπορούσε να ελλοχεύει η χρήση του τόσο για το υπό κίνδυνο άτομο όσο και για τις διασωστικές ομάδες. Σκοπός της ανάλυσης αυτής είναι α) να εισάγει την ιδέα της ανάλυσης του συστήματος διαιρώντας το σε επιμέρους φάσεις λειτουργίας και β) να παρουσιάσει τα πλεονεκτήματα της εφαρμογής αναλύσεων επικινδυνότητας που βασίζονται στη συστημική θεωρία και συγκεκριμένα της STPA, στον τομέα των αποστολών έρευνας και διάσωσης με χρήση UAVs. Η παρούσα διατριβή ολοκληρώνεται στο Κεφάλαιο 6 όπου παρουσιάζονται τα συμπεράσματα και τα ευρήματα της υλοποίησης του συστήματος καθώς και η πιθανή μελλοντική δουλειά . Η παρούσα διδακτορική διατριβή εκπονήθηκε στο Εργαστήριο Ρομποτικής και Αυτοματισμού του Τμήματος Μηχανικών Παραγωγής και Διοίκησης του Δ.Π.Θ. που ειδικεύεται σε τέτοιου είδους υλοποιήσεις συστημάτων.