Detection and semantic analysis of objects and events through visual cues

Abstract

This dissertation counts in total ten technical chapters, plus a conclusion chapter. Technical chapters are organized in three parts; each one of them is dedicated to a different aspect of semantic visual content analysis. The first part consists of four chapters and entitled ”From Objects to Events”. As the title suggests, in this part, we investigate how the information about objects in a scene can be available as a basis for event understanding. There are three different technical chapters, in which we try to address three different real-world problems; the development of (i) a supportive vision based system for detecting in real-time elderly and/or patients fall in indoor environments, (ii) a maritime security vision based system and (iii) a surveillance system for activity recognition in industrial workflow.The second part entitled ”From Unstructured Visual Content to Objects”. In this part we investigate how the visual content that is stored in distributed and heterogeneous Internet databases can be, initially, organized, and then utilized towards objects documentation. Specifically, in this part we propose (i) a method for retrieving and dynamically clustering user generated photographs available over the web and (ii) and online image indexing scheme.The third and last part entitled ”Beyond the Visual Spectrum” and focuses on visual content analysis using thermal and hyperspectral data. There are two technical chapters; the first one presents an algorithm for background subtraction applied on thermal video streams, while the second one presents a method for material recognition using hyperspectral images.We approach each one of the aforementioned problems through the levels of understanding framework. Initially, we formulate in detail the problem at hand along with its constraints and specifications, explaining what computations will do and why they will do it. Then, we proceed with proposed solution design and implementation, where we describe in detail the tools for developing the proposed solutions, the input and output of the system as well as, all intermediate representations of visual information. Finally, we evaluate proposed solutions performance on both synthetic and real-world data.

Η συγκεκριμένη διδακτορική διατριβή αριθμεί δέκα τεχνικά κεφάλαια τα οποία οργανώνονται σε τρία διαφορετικά μέρη. Κάθε μέρος εστιάζει σε διαφορετικές πτυχές της σημασιολογικής ανάλυσης οπτικού περιεχομένου. Το πρώτο μέρος αποτελείται από τέσσερα κεφάλαια και έχει το τίτλο «Από Αντικείμενα σε Γεγονότα». Αυτό το μέρος εστιάζει στην ανάλυση και ανάπτυξη τεχνικών για την αξιοποίηση της οπτικής πληροφορίας σε εικόνες και βίντεο με στόχο την ανίχνευση αντικειμένων. Επίσης εξετάζει πώς η πληροφορία για τα αντικείμενα μπορεί να χρησιμοποιηθεί ως βάση για την εξαγωγή συμπερασμάτων σχετικά με γεγονότα. Περιλαμβάνει τρία κεφάλαια στα οποία αναπτύσσονται τεχνικές μηχανική όρασης για την αντιμετώπιση τρίων πραγματικών προβλημάτων. Συγκεκριμένα, (α) αναπτύσσεται ένα σύστημα για την ανίχνευση ανθρωπίνων πτώσεων σε εσωτερικά περιβάλλοντα, (β) ένα σύστημα επιτήρησης παράκτιων περιοχών και (γ) ένα σύστημα αναγνώρισης ανθρώπινης δραστηριότητας σε βιομηχανικά περιβάλλοντα.Το δεύτερο κεφάλαιο έχει τίτλο «Από Μη-δομημένα Δεδομένα σε Αντικέιμενα». Σε αυτό το μέρος (α) μελετώνται μέθοδοι για την επεξεργασία και αξιοποίηση οπτικής πληροφορίας εικόνων που είναι αποθηκευμένες σε ετερογενής βάσεις δεδομένων του διαδυκτίου και (β) αναπτύσσονται μέθοδοι για την οργάνωση της μη-δομημένης οπτικής πληροφορίας, η οποία χρησιμοποιείται για την τεκμηρίωση αντικειμένων ενδιαφέροντος.Το τρίτο μέρος έχει τίτλο «Πέρα από το Οπτικό Φάσμα» και εστιάζει στην ανάλυση θερμικών και υποερφασματικών δεδομένων. Περιλαμβάνει δύο κεφάλαια. Το πρώτο παρουσιάζει έναν καινοτόμο αλγόριθμο για αφαίρεση φόντο λαμβάνοντας υπόψη τις ιδιαιτερότητες των θερμικών δεδομένων, ενώ το δεύτερο παρουσιάζει μια μέθοδο για την αναγνώριση υλικών μέσω επεξεργασίας υπερφασματικών δεδομένων.Καθε ένα από τα παραπάνω προβλήματα προσεγγίζεται μέσα από το μεθοδολογικό πλαίσιο εργασίας που έχει προταθεί από τον David Marr. Αρχικά ορίζεται το πρόβλημα που προσπαθούμε να λύσουμε, ποιοί είναι οι περιορισμοί και ποιές οι απαιτήσεις, εξηγούνται ποιοί υπολογισμοί θα πραγματοποιηθούν και για ποιο λόγο. Εν συνεχεία, σχεδιάζεται και υλοποιείται η μέθοδος επίλυσης του προβλήματος και περιγράφονται με λεπτομέρεια η ενδιάμεσες αναπαραστάσεις της οπτικής πληροφορίας, όπως επίσης η είσοδος και η έξοδος της μεθόδου. Τέλος, κάθε μέθοδος που προτείνεται αξιολογείται τόσο με συνθετικά όσο και με πραγματικά δεδομένα.