Augmented reality for simulation based training and assessment in minimal invasive surgery

Abstract

Minimally invasive surgery (MIS) has been widely introduced into standard surgical practice, illustrating significant benefits for both patients and healthcare providers as compared to traditional open surgery. The advantages of MIS however, are accompanied by a special set of requirements on behalf of surgeons, both in terms of psychomotor as well as cognitive skills. In this context, the traditional training curricula have progressed, utilizing surgical simulation for providing a controlled environment where surgeons can safely and efficiently acquire and enhance their skills. The great technological evolution of computer science during the past three decades, and most importantly the tremendous advancements of Virtual Reality (VR), have played a crucial role towards this progression. Nowadays, acquisition of cognitive, psychomotor and procedural surgical skills is performed using state-of-the art VR simulators that allow replication of real-world scenarios into a purely synthetic environment. Augmented Reality (AR), a novel technology allowing the realistic mixture of real and virtual worlds into a common environment, is considered as an alternative to VR. During the past two decades, this technology has gradually evolved from a “toy of scientists” to an efficient tool, substituting VR in various application fields. While these also include some medical and surgical applications, the potentials of utilizing AR for training and assessment of MIS skills have not yet been exploited. In this thesis we present what is, to the best of our knowledge, the first framework for training and assessment of fundamental psychomotor and procedural laparoscopic skills in an interactive AR environment. The proposed system is a fully-featured laparoscopic training platform, allowing surgeons to practice by manipulating real instruments while interacting with virtual objects within a real environment. It consists of a standard laparoscopic box-trainer, real instruments, a camera and a set of sensory devices for real-time tracking of surgeons’ actions. The proposed framework has been used for the implementation of AR-based training scenarios similar to the drills of the FLS® program, focusing on fundamental laparoscopic skills such as depth-perception, hand-eye coordination and bimanual operation. Moreover, this framework allowed the implementation of a proof-of-concept procedural skills training scenario, which involved clipping and cutting of a virtual artery within an AR environment. Comparison studies conducted for the evaluation of the presented framework indicated high content and face validity. In addition, significant conclusions regarding the potentials of introducing AR in laparoscopic simulation training and assessment were drawn. This technology provides an advanced sense of visual realism combined with a great flexibility in training task prototyping, with minimum requirements in terms of hardware as compared to commercially available platforms. Thereby, it can be safely stated that AR is a promising technology which can indeed provide a valuable alternative to the training modalities currently used in MIS.

Η Λαπαροσκοπική Χειρουργική και οι Ελάχιστα Επεμβατικές Επεμβάσεις (ΕΕΕ) αποτελούν αναγνωρισμένες μεθόδους πραγματοποίησης χειρουργικών πράξεων, κομίζοντας σημαντικά οφέλη τόσο προς τους ασθενείς όσο και τους παρόχους υγείας. Τα πλεονεκτήματα των ΕΕΕ όμως συνοδεύονται και με μια σειρά νέων απαιτήσεων που αφορούν τις ψυχοκινησιακές και γνωστικές δεξιότητες των χειρουργών. Στοχεύοντας στην κάλυψη των εν λόγω απαιτήσεων, το κλασικό μοντέλο της χειρουργικής εκπαίδευσης εξελίχθηκε, εντάσσοντας την ιατρική προσομοίωση (ΙΠ) στα υπάρχοντα πρωτόκολλα εκπαίδευσης. Η ΙΠ προσφέρει ένα ελεγχόμενο περιβάλλον όπου οι χειρουργοί αποκτούν και εξασκούν τις απαιτούμενες δεξιότητες με ασφαλή τρόπο. Σημαντικό ρόλο σε αυτή την εξέλιξη διαδραμάτισε η ραγδαία ανάπτυξη του κλάδου των υπολογιστών και της τεχνολογίας της Εικονικής Πραγματικότητας (ΕΠ). Σήμερα, η διδασκαλία της χειρουργικής γνώσης και η εξάσκηση των δεξιοτήτων πραγματοποιούνται σε τελευταίας τεχνολογίας συστήματα ΕΠ, τα οποία επιτρέπουν την προσομοίωση πραγματικών σεναρίων εκπαίδευσης σε ένα απολύτως συνθετικό περιβάλλον. Η Επαυξημένη Πραγματικότητα (ΕΑ) είναι μια σχετικά νέα τεχνολογία που επιτρέπει την ρεαλιστική επιπροβολή ψηφιακών στοιχείων σε μια πραγματική σκηνή. Κατά τις τελευταίες δύο δεκαετίες, η εν λόγω τεχνολογία έχει χρησιμοποιηθεί ως εναλλακτική της ΕΠ σε πολλούς τομείς, μερικοί εκ των οποίων αφορούν και ιατρικές εφαρμογές. Η πιθανή χρήση όμως της ΕΠ για την εκπαίδευση και αξιολόγηση δεξιοτήτων στην Λαπαροσκοπική χειρουργική δεν έχει μελετηθεί επαρκώς.Στην παρούσα διδακτορική διατριβή παρουσιάζουμε ένα πρωτοπόρο σύστημα εκπαίδευσης και αξιολόγησης βασικών δεξιοτήτων λαπαροσκοπικής χειρουργικής σε περιβάλλον ΕΠ. Το προτεινόμενο σύστημα αποτελεί μια πλήρως λειτουργική πλατφόρμα εκπαίδευσης η οποία επιτρέπει σε χειρουργούς να εξασκηθούν χρησιμοποιώντας πραγματικά λαπαροσκοπικά εργαλεία και αλληλεπιδρώντας με ψηφιακά αντικείμενα εντός ενός πραγματικού περιβάλλοντος εκπαίδευσης. Το σύστημα αποτελείται από ένα τυπικό κουτί λαπαροσκοπικής εκπαίδευσης, πραγματικά χειρουργικά εργαλεία, κάμερα και συστοιχία αισθητήρων που επιτρέπουν την ανίχνευση και καταγραφή των κινήσεων του χειρουργού σε πραγματικό χρόνο. Χρησιμοποιώντας το προτεινόμενο σύστημα, σχεδιάσαμε και υλοποιήσαμε σενάρια εκπαίδευσης παρόμοια με τις ασκήσεις του προγράμματος FLS®, στοχεύοντας σε δεξιότητες όπως η αίσθηση βάθους, ο συντονισμός χεριού-ματιού, και η παράλληλη χρήση δύο χεριών. Επιπλέον των βασικών δεξιοτήτων, το προτεινόμενο σύστημα χρησιμοποιήθηκε για τον σχεδιασμό σεναρίου εξάσκησης διαδικαστικών δεξιοτήτων, οι οποίες περιλάμβανουν την εφαρμογή χειρουργικών clips καθώς και την απολίνωση εικονικής αρτηρίας, σε περιβάλλον ΕΠ.Τα αποτελέσματα συγκριτικών μελετών μεταξύ έμπειρων και αρχαρίων χειρουργών που πραγματοποιήθηκαν στα πλαίσια της παρούσας διατριβής υποδηλώνουν την εγκυρότητα του προτεινόμενου συστήματος. Επιπλέον, εξήχθησαν σημαντικά συμπεράσματα σχετικά με την πιθανή χρήση της ΕΑ στην λαπαροσκοπική προσομοίωση. Η συγκεκριμένη τεχνολογία προσφέρει αυξημένη αίσθηση οπτικού ρεαλισμού και ευελιξία στον σχεδιασμό εκπαιδευτικών σεναρίων, παρουσιάζοντας σημαντικά μικρότερες απαιτήσεις από πλευράς εξοπλισμού σε σύγκριση με τις υπάρχουσες εμπορικές πλατφόρμες. Βάσει των αποτελεσμάτων της παρούσας διατριβής μπορεί με ασφάλεια να εξαχθεί το συμπέρασμα πως η ΕΠ αποτελεί μια πολλά υποσχόμενη τεχνολογία που θα μπορούσε να χρησιμοποιηθεί για τον σχεδιασμό προσομοιωτών λαπαροσκοπικής χειρουργικής ως εναλλακτική των υπαρχόντων τεχνολογιών και συστημάτων.