Εξαγωγή σημασιολογικής γνώσης από γεγονότα

Abstract

This work reports on research conducted in the domain of semantic information extraction from events in video streams. The research focuses on exploring techniques used for human behavior recognition from video sequences and creating complete systems for anomaly detection observed in the video, human behavior recognition and video indexing. Behavior understanding from events can be considered as a typical classification problem using predefined classes. In our research presented in this thesis, the main idea is to deal with this classification problem from a bottom up point of view using motion analysis for behavior recognition. We describe our research work from its first steps to the final accomplishments including the development of surveillance systems which can to operate in off-line or real time conditions. Following a theoretical analysis of the problem (including definitions of short term behaviors, events and long term behaviors) we follow preprocessing steps and calculate features that form the input of a higher level behavior recognition module. Novel methods are introduced for behavior classification and semantic representation from events. A methodology is proposed whereby frame information is coded in graphs, using only optical flow to form the feature vector aiming in behavior recognition. The proposed graphs (called Optical Flow Proximity Graphs - OFPGs) are used in order to hold information about neighboring values of the optical flow. Operations on graphs transform the initial problem of representation to a classification problem. A symbolic method including two levels of graph representation is also proposed dealing with the same recognition problem. OFPGs are also proposed for video indexing. Furthermore, a bottom-up approach for human behavior understanding is presented, using a multi camera system for anomaly detection. In the framework of this system, we present the use of one class continuous Hidden Markov Models (cHMMs) for the task of human behavior recognition. An approximation algorithm, referring to the Forward Backward procedure of the cHMM, is proposed to overcome numerical stability problems in the calculation of probability of emission for very long observations, called Observation Log Probability Approximation (OLPA). Experimental results using open source data sets, such as PETS04 and Weizmann, are compared with results of other state of the art methods, illustrating the advantages of the proposed methods.

Η παρούσα διατριβή πραγματεύεται το θέμα της εξαγωγής σημασιολογικής πληροφορίας από γεγονότα σε ακολουθίες βίντεο. Η έρευνα επικεντρώνεται σε τεχνικές που χρησιμοποιήθηκαν για αναγνώριση ανθρώπινης συμπεριφοράς από ακολουθίες βίντεο και στη δημιουργία ολοκληρωμένων συστημάτων για τον εντοπισμό ανώμαλης συμπεριφοράς, αναγνώριση ανθρώπινης συμπεριφοράς και εξαγωγή περιεχομένων του βίντεο όσον αφορά τις συμπεριφορές που παρατηρούνται. Η αναγνώριση συμπεριφοράς ανάγεται σε ένα τυπικό πρόβλημα ταξινόμησης. Στην ερευνητική μας δραστηριότητα η κεντρική ιδέα είναι η αντιμετώπιση αυτού του προβλήματος ταξινόμησης με βάση μια από κάτω προς τα πάνω προσέγγιση κάνοντας χρήση της ανάλυσης της κίνησης που παρατηρείται για αναγνώριση συμπεριφοράς. Παρουσιάζεται η έρευνα που έλαβε χώρα στα πλαίσια του διδακτορικού από τα πρώτα βήματα μέχρι τα τελικά επιτεύγματα που περιλαμβάνουν την ανάπτυξη συστημάτων παρακολούθησης τα οποία μπορούν να λειτουργήσουν σε συνθήκες τόσο μη πραγματικού όσο και πραγματικού χρόνου. Μετά από μία θεωρητική ανάλυση του προβλήματος, που περιλαμβάνει ορισμούς των βραχυπρόθεσμων και μακροπρόθεσμων συμπεριφορών, προτείνονται βήματα προεπεξεργασίας και υπολογίζονται χαρακτηριστικά που αποτελούν την είσοδο για ένα σύστημα αναγνώρισης υψηλότερου επιπέδου. Εισάγονται καινοτόμες μέθοδοι για ταξινόμηση συμπεριφορών και αναπαράσταση σημασιολογικής πληροφορίας από γεγονότα. προτείνεται μια μεθοδολογία σύμφωνα με την οποία αναπαριστούμε τη γνώση που εξάγουμε από τα καρά του βίντεο με γράφους, χρησιμοποιώντας μόνο την οπτική ροή για να δημιουργήσουμε τα διανύσματα χαρακτηριστικών με στόχο την αναγνώριση συμπεριφοράς. Οι προτεινόμενοι γράφοι (που ονομάζονται Γράφει Γειτνίασης της Οπτικής Ροής – Optical Flow Proximity Graphs – OFPG) χρησιμοποιούνται για να κωδικοποιήσουν πληροφορίες για τις γειτονικές τιμές της οπτικής ροής. Πράξεις επί των γράφων χρησιμοποιούνται για να μετασχηματίσουν τον αρχικό πρόβλημα της αναπαράστασης σε πρόβλημα ταξινόμησης. Επίσης προτείνεται μια συμβολική μέθοδος που περιλαμβάνει δύο επίπεδα αναπαράστασης με γράφους και αντιμετωπίζει το ίδιο πρόβλημα αναγνώρισης συμπεριφορών. Οι γράφοι χρησιμοποιούνται επίσης και για εξαγωγή του περιεχομένου του βίντεο όσον αφορά τις συμπεριφορές που παρατηρούνται. Επιπλέον, μια από κάτω προς τα πάνω προσέγγιση για την κατανόηση ανθρώπινης συμπεριφοράς προτείνεται η οποία χρησιμοποιεί σύστημα πολλαπλών καμερών και στοχεύει στον εντοπισμό ανώμαλης συμπεριφοράς. Στα πλαίσια αυτής της μεθοδολογίας παρουσιάζουμε τη χρήση του συνεχούς Hidden Markov Model (cHMM) ως ταξινομητή μιας κλάσης για την αναγνώριση συμπεριφοράς και ένα προσεγγιστικό αλγόριθμο για τη διαδικασία Forward Backward που χρησιμοποιείται στο βήμα της αναγνώρισης του cHMM. Ο αλγόριθμος αυτός προτείνεται για να ξεπεραστεί η αριθμητική αστάθεια που παρατηρείται στον υπολογισμό των κατάλληλων πιθανοτήτων για πολύ μεγάλη ακολουθία παρατηρήσεων. Ονομάσαμε αυτόν τον αλγόριθμο Αλγόριθμο Λογαριθμικής Προσέγγισης Πιθανότητας Παρατήρησης (Observation Log Probability Approximation) και πειραματικά αποδεικνύεται ότι προσεγγίζει σε πολύ μεγάλο βαθμό τον κλασικό τρόπο υπολογισμού των πιθανοτήτων που χρησιμοποιείται στα HMM. Παρουσιάζονται πειραματικά αποτελέσματα σε διαθέσιμες βάσεις δεδομένων, όπως αυτή του PETS04 και του Weizmann καθώς και σύγκριση με ήδη υπάρχουσες μεθόδους, που αναδεικνύει τα πλεονεκτήματα των προτεινομένων μεθόδων.