Εύρωστη αναγνώριση ανθρώπινης δραστηριότητας σε ρεαλιστικά περιβάλλοντα

Abstract

Machine based human action recognition has become very popular in the last decade.Automatic unattended surveillance systems, interactive video games, machine learning and robotics are only few of the areas that involve human action recognition. This thesis examines the capability of a known transform, the so-called Trace, for the task of human action recognition and proposes two new feature extraction methods based on the specifictransform. The first method, extracts Trace transforms from binarized silhouettes representingdifferent stages of a single action period. A final history template composed from the above transforms, represents the whole sequence containing much of the valuable spatiotemporalinformation contained in a human action. The second, involves Trace for the construction of a set of invariant features that represents the action sequence and can cope with variations usually appeared in video capturing. The specific method takes advantage of the natural specifications of the Trace transform, to produce noise robust features that are invariant to translation, rotation, scaling and are effective, simple and fast to create. As a follow-up to the above developments, a new technique has been developed, which extends the last referred method to the 3D domain, creating for the first time in bibliography a 3D form of the Trace, named 3D Cylindrical Trace transform. Combined with the spatiotemporal interest points (STIPs), it was applied for the extraction of robust features from videos, both for the scenarios of human action recognition and human fall detection. Classification experiments on five popular and demanding datasets, using SVMs of RBF kernel, provided impressive results indicating the potentials of the proposed techniques. Finally, trying to give prominence to the challenges in the action recognition field, a new dataset named THETIS was created and proposed. The experimental evaluation of THETIS indicated a very challenging dataset which has already attracted researcher’s interest.

Η μηχανική αναγνώριση ανθρωπίνων δράσεων έχει γίνει ιδιαίτερα δημοφιλής την τελευταία δεκαετία. Αυτοματοποιημένα μη επανδρωμένα συστήματα παρακολούθησης, διαδραστικά βιντεοπαιχνίδια, μηχανική μάθηση και ρομποτική, είναι μόνο μερικές από τις περιοχές οι οποίες εμπλέκουν την αναγνώριση της ανθρώπινης δραστηριότητας. Η παρούσα διατριβή εξετάζει την ικανότητα του γνωστού μετασχηματισμού Trace, στη μηχανική αναγνώριση ανθρώπινης δραστηριότητας και προτείνει αρχικά, δύο νέες μεθόδους για την εξαγωγή χαρακτηριστικών βασισμένες στο συγκεκριμένο μετασχηματισμό. Η πρώτη μέθοδος εξάγει μετασχηματισμούς από δυαδικές σιλουέτες που αναπαριστούν διάφορα στάδια μιας απλής περιόδου της κίνησης. Μια τελική αναπαράσταση, αποτελούμενη από τους παραπάνω μετασχηματισμούς, αναπαριστά ολόκληρη την ακολουθία της κίνησης εμπεριέχοντας πολλή από την πολύτιμη χωρο-χρονική πληροφορία της ανθρώπινης κίνησης. Η δεύτερη μέθοδος, βασίζεται στον ίδιο μετασχηματισμό για την κατασκευή ενός συνόλου αμετάβλητων χαρακτηριστικών τα οποία αναπαριστούν την ανθρώπινη κίνηση και μπορούν να αντεπεξέλθουν στις συνήθεις παραμορφώσεις που προκαλούνται κατά την λήψη ενός βίντεο. Η συγκεκριμένη μέθοδος, εκμεταλλεύεται τις φυσικές ιδιότητες του μετασχηματισμού Trace για να παράγει εύρωστα στο θόρυβο χαρακτηριστικά τα οποία είναι αμετάβλητα στην μετατόπιση, στην περιστροφή στην κλιμάκωση και είναι αποτελεσματικά, απλά και γρήγορα στην κατασκευή τους. Σε συνέχεια των παραπάνω, δημιουργήθηκε μια νέα τεχνική η οποία επεκτείνει την τελευταία μέθοδο στον τρισδιάστατο χώρο με τη δημιουργία για πρώτη φορά στη βιβλιογραφία μιας τρισδιάστατης μορφής του Trace, του ονομαζόμενου 3D Cylindrical Trace transform. Σε συνδυασμό με τα χωρο-χρονικά σημεία ενδιαφέροντος (STIPs), εφαρμόστηκε για την εξαγωγή εύρωστων χαρακτηριστικών απόβίντεο τόσο για την αναγνώριση ανθρώπινης δραστηριότητας όσο και για τον εντοπισμό ανθρωπίνων πτώσεων. Πειράματα κατηγοριοποίησης που πραγματοποιήθηκαν σε πέντε δημοφιλείς και απαιτητικές βάσεις με τη χρήση SVM πυρήνα Radial Basis Function, παρείχαν εντυπωσιακά αποτελέσματα αναδεικνύοντας τις δυνατότητες των προτεινόμενων τεχνικών. Τέλος, στην προσπάθεια ανάδειξης νέων προκλήσεων στο πεδίο της αναγνώρισης της ανθρώπινης δραστηριότητας, δημιουργήθηκε και προτάθηκε μια νέα μεγάλη βάση δεδομένων (THETIS) η οποίο κατά την πειραματική της αξιολόγηση αναδείχθηκε σε ένα ιδιαίτερα απαιτητικό σύνολο δεδομένων, το οποίο έχει αρχίσει ήδη να προσελκύει το ενδιαφέρον των ερευνητών.