Visual object tracking for autonomous systems and other applications

Abstract

Autonomous systems rely heavily on visual perception to operate reliably in dynamic and unpredictable environments, gradually transitioning from passive observation to active interaction, making robust and adaptive visual tracking essential for real-time performance. This thesis provides a series of contributions that strengthen the tracking capabilities of such systems, both in specialized contexts like aerial cinematography and in general-purpose autonomous applications. A novel active vision method to improve performance of computer vision tasks is also provided. A study focusing on Unmanned Aerial Vehicles (UAVs) presents a geometric modeling framework that relates desired shot types, UAV/camera trajectories, and camera focal length constraints to ensure reliable visual tracking, enabling intelligent on-the-fly cinematographic planning. Extending beyond UAVs, a long-term 2D visual tracking framework is developed to handle common challenges such as occlusions, fast motion, and temporary target disappearance, allowing recovery without tracker re-initialization by dynamically adjusting the tracking model based on occlusion severity. To further enhance adaptability, an adversarial learning approach is proposed where the tracker functions as a generator guided by a discriminator that evaluates response map consistency with a target distribution, improving model precision while remaining lightweight enough for embedded systems. Additionally, a Robust Tracking Module (RTM) is introduced to increase resilience against input noise by applying image-to-image translation, standardizing input conditions and mitigating performance degradation under visual distortions. The effectiveness of this module is validated through an evaluation toolkit designed to benchmark tracking robustness across different noise types. Finally, a hierarchical reward based Reinforcement Learning (RL) framework is proposed that allows robotic systems to learn motion policies to optimize the performance of computer vision methods such as optical character recognition and face recognition. Together, these contributions deliver a comprehensive vision framework that improves the stability, adaptability, and reliability of visual tracking, with broad applicability across domains such as robotics and autonomous systems, surveillance, and smart vehicles, while retaining special relevance to the challenges of UAV-based autonomous cinematography.

Τα αυτόνομα συστήματα βασίζονται σε μεγάλο βαθμό στην οπτική αντίληψη για να λειτουργούν αξιόπιστα σε δυναμικά και απρόβλεπτα περιβάλλοντα, μεταβαίνοντας σταδιακά από την παθητική παρακολούθηση στην ενεργό αλληλεπίδραση. Ένα πολύ σημαντικό κομμάτι αυτών των συστημάτων αποτελούν οι μέθοδοι Οπτικής Παρακολούθησης Στόχου (ΟΠΣ) που πρέπει να είναι αξιόπιστες και να παράγουν αποτελέσματα σε πραγματικό χρόνο. Η παρούσα διατριβή παρουσιάζει μια σειρά από συνεισφορές που ενισχύουν τις μεθόδους ΟΠΣ αυτόνομων συστημάτων, τόσο σε εξειδικευμένα πλαίσια όπως η εναέρια κινηματογράφηση, όσο και σε γενικές εφαρμογές αυτόνομων πλατφορμών, καθώς και ένα πλαίσιο λήψης αποφάσεων κίνησης αυτόνομων συστημάτων με στόχο την βελτίωση των επιδόσεων μεθόδων υπολογιστικής όρασης. Αρχικά, για τα Συστήματα μη Επανδρωμένων Αεροσκαφών (ΣμηΕΑ), προτείνεται ένα γεωμετρικό μοντέλο που συσχετίζει τους επιθυμητούς τύπους πλάνων, τις τροχιές ΣμηΕΑ/κάμερας και τους περιορισμούς του εστιακού μήκους, με σκοπό την αξιόπιστη οπτική παρακολούθηση και την ευφυή, δυναμική προσαρμογή του κινηματογραφικού σχεδιασμού. Πέρα από τα ΣμηΕΑ, παρουσιάζεται ένα γενικότερο πλαίσιο για την ενίσχυση των μεθόδων ΟΠΣ απέναντι σε προκλήσεις όπως οι αποκρύψεις του στόχου, η ταχεία κίνησή του ή προσωρινές εξαφανίσεις, επιτρέποντας την επανεκκίνηση της παρακολούθησης χωρίς ανθρώπινη παρέμβαση, μέσω δυναμικής προσαρμογής του μοντέλου ανάλογα με την ένταση της απόκρυψης. Για περαιτέρω ενίσχυση της προσαρμοστικότητας, προτείνεται μια μεθοδολογία όπου η μέθοδος ΟΠΣ λειτουργεί ως γεννήτορας, καθοδηγούμενος από έναν διαχωριστή ο οποίος αξιολογεί τη συνέπεια των χαρτών απόκρισης με βάση μια επιθυμητή κατανομή, βελτιώνοντας την ακρίβεια του μοντέλου με περιορισμένο υπολογιστικό κόστος. Επιπλέον, εισάγεται μια ελαφριά μονάδα προεπεξεργασίας που αυξάνει την ανθεκτικότητα της παρακολούθησης σε οπτικό θόρυβο μέσω μετασχηματισμού εικόνας σε εικόνα, κανονικοποιώντας τις συνθήκες εισόδου και περιορίζοντας την υποβάθμιση της απόδοσης σε περιπτώσης αλλοίωσης του σήματος εισόδου. Η αποτελεσματικότητα της μεθόδου αξιολογείται μέσω ενός εργαλείου δοκιμών που επιτρέπει τη συστηματική μέτρηση της ανθεκτικότητας έναντι διαφορετικών τύπων θορύβου. Τέλος, προτείνεται ένα πλαίσιο Ενισχυτικής Μάθησης (ΕΜ), το οποίο αξιοποιεί ιεραρχικό σήμα επιβράβευσης και επιτρέπει σε ρομποτικά συστήματα να μαθαίνουν πολιτικές κίνησης για τη βελτιστοποίηση των επιδόσεων μεθόδων υπολογιστικής όρασης όπως η οπτική αναγνώριση χαρακτήρων και η αναγνώριση προσώπου. Συνολικά, οι παραπάνω συνεισφορές συνθέτουν ένα πλαίσιο, το οποίο προσφέρει σταθερότητα, προσαρμοστικότητα και αξιοπιστία στην παρακολούθηση στόχων, με εφαρμογή σε τομείς όπως η ρομποτική και τα αυτόνομα συστήματα, η επιτήρηση και τα έξυπνα οχήματα, ενώ διατηρεί ιδιαίτερη συνάφεια με τις προκλήσεις της αυτόνομης κινηματογράφησης με ΣμηΕA.