Ευφυής καταγραφή 3Δ ανθρώπινης κίνησης μέσω δεικτών με χρήση βαθιάς μάθησης και χαρτών βάθους πολλαπλών προβολών

Abstract

For decades, marker-based human motion capture has been the standard for high-fidelity motion capture, while new, innovative deep learning models are constantly being proposed by the computer vision and deep learning research community. However, despite the millimeter accuracy offered by the former, their use is limited due to the high costs of equipment, software licenses, maintenance, etc., while the latter, although efficient and more flexible, cannot achieve the same levels of accuracy and precision in the absence of robust priors. Focusing on this research and technological gap, the proposed Ph.D. thesis explores and combines the high accuracy achieved by professional systems in capturing articulated human motions using markers, the remarkable ability of deep learning models to solve human pose estimation and tracking problems, and recent technological developments in consumer-grade and low-cost depth sensing sensors for the development of novel "hybrid" methods for motion capture. To achieve the research objectives of this thesis, a number of research contributions took place, such as the modeling of marker-based motion capture from spatiotemporally aligned multi-view depth maps, the introduction of appropriate scale and translation invariant representations independent of the way the original data is captured or the pose and operation of the sensors, making the models able to cope effectively even with relatively limited training data, the development of new techniques for decoding 3D coordinates from 2D and 2.5D input data with high accuracy for real-time operation.In addition, to achieve the above, it was necessary to create 2 large datasets, DMC and HUMAN4D. Their creation was necessary due to the limited availability of public multi-view depth data with body-attached markers on the subjects. Initially, by creating the DMC dataset, we validated the basic concept of motion capture using the deep learning paradigm and multiple depth maps with retro-reflective materials without high requirements on synchronization accuracy and \en{ground-truth} poses. Then, we created the HUMAN4D dataset which provides depth data from multiple cameras with hardware synchronization and highly accurate 3D pose data for supervision and evaluation, which in turn allowed us to conduct further research around state-of-the-art pose/motion estimation methods and 3D coordinate representation techniques. Finally, as a result of the above, we carried out the conceptualization and development of a novel, state-of-the-art method for estimating 3D pose/motion from depth data using spherical retro-reflective markers.

Εδώ και δεκαετίες, η καταγραφή ανθρώπινης κίνησης με χρήση δεικτών αποτελεί το βασικό πρότυπο για την καταγραφή και παρακολούθηση κίνησης υψηλής πιστότητας, ενώ παράλληλα, καινοτόμα μοντέλα βαθιάς μάθησης προτείνονται συνεχώς από την ερευνητική κοινότητα υπολογιστικής όρασης και βαθιάς μάθησης. Ωστόσο, παρά την ακρίβεια χιλιοστού που προσφέρουν τα πρώτα, η χρήση τους είναι περιορισμένη, λόγω υψηλού κόστους εξοπλισμού, αδειών λογισμικού, συντήρησης, κτλ., ενώ τα δεύτερα, αν και αποτελεσματικά και πιο ευέλικτα, δεν μπορούν να επιτύχουν τα ίδια επίπεδα ακρίβειας ελλείψει ισχυρών προκαθορισμών. Εστιάζοντας σε αυτό το ερευνητικό και τεχνολογικό κενό, η προτεινόμενη διδακτορική διατριβή διερευνά και συνδυάζει την υψηλή ακρίβεια που επιτυγχάνουν τα επαγγελματικά συστήματα στην καταγραφή των αρθρωτών κινήσεων του ανθρωπίνου σώματος με τη χρήση δεικτών, την αξιοσημείωτη ικανότητα των μοντέλων όρασης υπολογιστών βαθιάς μάθησης να επιλύουν προβλήματα που σχετίζονται με την παρακολούθηση και εκτίμηση της ανθρώπινης πόζας, καθώς και τις πρόσφατες τεχνολογικές εξελίξεις στους αισθητήρες ανίχνευσης βάθους καταναλωτικής ποιότητας και χαμηλού κόστους για την ανάπτυξη καινοτόμων "υβριδικών" μεθόδων καταγραφής κίνησης. Κατά τη διάρκεια της μελέτης και έρευνας στο συγκεκριμένο πεδίο για την επίτευξη του ερευνητικού στόχου της διατριβής πραγματοποιήθηκαν μια σειρά από ερευνητικές συνεισφορές όπως, μεταξύ άλλων, η μοντελοποίηση του προβλήματος καταγραφής κίνησης με δείκτες από δεδομένα βάθους πολλαπλών χρονικά και χωρικά συσχετισμένων προβολών, η εισαγωγή κατάλληλων αναπαραστάσεων ανεξάρτητων από τον τρόπο καταγραφής των αρχικών δεδομένων ή τη θέση και λειτουργία των αισθητήρων, καθιστώντας τα μοντέλα ικανά να αντεπεξέλθουν αποτελεσματικά ακόμα και με σχετικά περιορισμένα δεδομένα εκπαίδευσης, η ανάπτυξη νέων τεχνικών αποκωδικοποίησης 3Δ συντεταγμένων από 2Δ και 2.5Δ δεδομένα εισόδου με υψηλή ακρίβεια για την αξιοποίηση των μοντέλων σε πραγματικού χρόνου τεχνολογίες καταγραφής κίνησης. Επιπρόσθετα, για την πραγματοποίηση των παραπάνω κρίθηκε απαραίτητη η δημιουργία δύο (2) μεγάλων συνόλων δεδομένων, των DMC και HUMAN4D. Η δημιουργία τους ήταν απαραίτητη λόγω της περιορισμένης δημόσιας διάθεσης δεδομένων βάθους πολλαπλών προβολών που καταγράφουν κινήσεις υποκειμένων με τοποθετημένους δείκτες στο σώμα τους. Αρχικά, με τη δημιουργία του συνόλου δεδομένων DMC επιβεβαιώσαμε τη βασική ιδέα καταγραφής κίνησης με χρήση βαθιάς μάθησης και πολλαπλών χαρτών βάθους με οπισθοανακλαστικά υλικά χωρίς υψηλές απαιτήσεις σε ακρίβεια συγχρονισμού και ground-truth δεδομένων πόζας. Κατόπιν, δημιουργήσαμε το σύνολο δεδομένων HUMAN4D το οποίο παρέχει δεδομένα βάθους από πολλαπλές κάμερες ταυτόχρονης λήψης με συγχρονισμό υλισμικού και εξαιρετικά ακριβείς 3Δ πόζες για εποπτεία και αξιολόγηση, το οποίο κατά σειρά, μας επέτρεψε την πραγματοποίηση περαιτέρω έρευνας γύρω από σύγχρονες μεθόδους εκτίμησης πόζας/κίνησης και τεχνικών αναπαράστασης 3Δ συντεταγμένων. Τέλος, ως ακολουθία των παραπάνω πραγματοποιήθηκε η ανάπτυξη μιας νέας, state-of-the-art μεθόδου εκτίμησης 3Δ πόζας/κίνησης από δεδομένα βάθους με τη χρήση σφαιρικών οπισθοανακλαστικων δεικτών.