Νέες τεχνικές πολυτροπικής απεικόνισης και προσομοίωσης αλληλεπιδραστικών εικονικών περιβαλλόντων

Abstract

In the context of the PhD thesis, novel techniques are proposed for the multimodal rendering and simulation of interactive virtual environments that are either synthetic or reconstructed from real data. The thesis proposes an integrated framework for multimodal rendering and simulation of virtual environments that are either synthetic or dynamically reconstructed from real data. The framework is based on novel methods of collision detection, deformable object simulation, haptic rendering, natural interaction, conversion of visual information into haptic representations and stereoscopic video generation from monoscopic image sequences. For the processing of the real and the synthetic data, new algorithms for image, video and 3D object processing have been developed. For the support of haptic rendering in the simulation of the virtual environment a novel method for collision detection has been developed that proposes a novel model for the detection of collisions and the generation of the force feedback. Moreover, a method for deformable object simulation has been developed that also supports haptic interaction with the elastic model. Regarding interaction with the virtual environment, a novel method for haptic interaction has been presented that based on the concept of the force field that are created in a preprocessing step using monoscopic videos, and can be directly used for interaction with static scenes, where the interaction fidelity and stability requirements are high. Furthermore, a method for the direct conversion of monoscopic image sequences into stereoscopic videos has been presented that can be used for the stereoscopic rendering of real data to the user that do not require interaction. Finally, a system for the natural interaction in virtual environments is presented. The user can manipulate 3D images in the virtual environment using simple deictic and iconic gestures combined with voice commands. This system is integrated into an authoring tool for 3D virtual environments. The user can initially design simple geometric shapes and then assembly an object that can be further used as query to search in a 3D model database using an efficient algorithm for 3D content based search. The results of the thesis show the clear advantage of the proposed methods. All developed algorithms have been published in international refereed journals and conferences.

Στα πλαίσια της διατριβής προτείνονται νέες τεχνικές για την πολυτροπική απεικόνιση και προσομοίωση αλληλεπιδραστικών εικονικών περιβαλλόντων είτε συνθετικών είτε ανακατασκευασμένων από πραγματικά δεδομένα. Η παρούσα διατριβή προτείνει ένα ενιαίο πλαίσιο πολυτροπικής απεικόνισης και προσομοίωσης εικονικών περιβαλλόντων είτε συνθετικών είτε ανακατασκευασμένων από πραγματικά δεδομένα, το οποίο βασίζεται σε καινοτόμες μεθόδους ανίχνευσης σύγκρουσης, προσομοίωσης ελαστικών αντικειμένων, απτικής απεικόνισης, μετατροπής οπτικής πληροφορίας σε απτική και στερεοσκοπικής προβολής των προσομοιώσεων αλλά και απλών μονοσκοπικών εικονοσειρών. Για την επεξεργασία των πραγματικών αλλά και των εικονικών δεδομένων αναπτύχθηκαν αλγόριθμοι επεξεργασίας εικόνας, βίντεο αλλά και τρισδιάστατων αντικειμένων. Για την υποστήριξη της προσομοίωσης των εικονικών περιβαλλόντων με απτική αλληλεπίδραση αναπτύχθηκε μία καινοτόμος μέθοδος ανίχνευσης σύγκρουσης, η οποία προτείνει ένα νέο ενοποιημένο μοντέλο για την ανίχνευση και αντιμετώπιση των συγκρούσεων αλλά και για την δημιουργία της αντίδρασης της σύγκρουσης και την απτική απεικόνιση. Αναπτύχθηκε επίσης μία νέα μέθοδος για την προσομοίωση ελαστικών αντικειμένων με δυνατότητα απτικής αλληλεπίδρασης με το χρήστη. Όσον αφορά την αλληλεπίδραση με το εικονικό περιβάλλον παρουσιάστηκε και μία νέα μέθοδος απτικής αλληλεπίδρασης βάσει πεδίων δυνάμεων, τα οποία δημιουργούνται κατά το στάδιο της προεπεξεργασίας και μπορούν να χρησιμοποιηθούν απ' ευθείας σε στατικές προσομοιώσεις, όπου οι απαιτήσεις αξιοπιστίας και ευστάθειας της προσομοίωσης είναι μεγάλες. Ακόμα, αναπτύχθηκε και μία καινοτόμος μέθοδος για την απ' ευθείας μετατροπή μίας μονοσκοπικής εικονοσειράς σε στερεοσκοπική για την στερεοσκοπική απεικόνιση πραγματικών δεδομένων που δεν απαιτούν την αλληλεπίδραση με το χρήστη. Τέλος παρουσιάζεται και ένα σύστημα αλληλεπίδραστης σε εικονικά περιβάλλοντα, το οποίο πέρα από τη δυνατότητα χειρισμού 3D αντικειμένων παρέχει στο χρήστη ένα περιβάλλον συγγραφής 3D εικονικών περιβαλλόντων. Ο χρήστης αρχικά μπορεί να σχεδιάσει απλά γεωμετρικά αντικείμενα χρησιμοποιώντας σκαριφήματα και στη συνέχεια αφού συναρμολογήσει ένα απλό αντίγραφο, μπορεί να αναζητήσει παρόμοια αντικείμενα με βάση το περιεχόμενο από μία βάση δεδομένων 3D μοντέλων. Το σύστημα, πέρα από την απτική αλληλεπίδραση, υποστηρίζει την αλληλεπίδραση με το χρήστη χρησιμοποιώντας προκαθορισμένες χειρονομίες και φωνητικές εντολές. Τα αποτελέσματα της διατριβής δείχνουν την καθαρή υπεροχή των προτεινόμενων μεθόδων. Όλοι οι αλγόριθμοι που αναπτύχθηκαν στα πλαίσια της διατριβής έχουν δημοσιευτεί σε διεθνή έγκριτα περιοδικά και συνέδρια.