DESIGN DI ESPERIENZE DI MIXED REALITY PER L'APPLICAZIONE MEDICALE

During teleconsultation, a remote expert needs to convey information to another surgeon or a local person in an exceptional situation or specified laparoscopic surgery. Beyond verbal and non-verbal communication, remote guidance is an effective concept to teach and transfer knowledge to other people about the handling of instruments, the assembly of complex objects, and to mark regions of interest. Augmented reality guidance should be investigated in the context of medical procedures, first responder and preclinical scenarios to identify potential candidates, as well as novel methods for remote guidance, should be developed with the Living Lab approach. The goal of this work is an extensive review of existing remote guidance methods and the development of novel remote guidance methods for surgical procedures and first responder situations. A mixed reality application for two participants should be developed that allows them (tracked using an existing framework) to join the same operating theater simulations and to collaborate with a user interface with augmented reality. Then a number of relevant remote guidance methods should be re-implemented and novel methods designed based on a requirements analysis conducted with medical experts. Finally, a user need study should evaluate the existing instruments with the ergonomy method and feasibility.

Durante il teleconsulto, un esperto remoto deve trasmettere informazioni a un altro chirurgo o a una persona locale in una situazione eccezionale o in un intervento chirurgico laparoscopico specificato. Oltre alla comunicazione verbale e non verbale, la guida remota è un concetto efficace per insegnare e trasferire conoscenze ad altre persone sulla gestione degli strumenti, l'assemblaggio di oggetti complessi e per contrassegnare le regioni di interesse. L'orientamento alla realtà aumentata dovrebbe essere studiato nel contesto di procedure mediche, prima risposta e scenari preclinici per identificare potenziali candidati, così come nuovi metodi per l'orientamento remoto, dovrebbero essere sviluppati con l'approccio Living Lab. L'obiettivo di questo lavoro è una revisione approfondita dei metodi di guida remota esistenti e lo sviluppo di nuovi metodi di guida remota per procedure chirurgiche e situazioni di primo intervento. È necessario sviluppare un'applicazione di realtà mista per due partecipanti che consenta loro (monitorati utilizzando un framework esistente) di unirsi alle stesse simulazioni di sala operatoria e di collaborare con un'interfaccia utente con realtà aumentata. Quindi è necessario implementare una serie di pertinenti metodi di guida remota e progettare nuovi metodi basati su un'analisi dei requisiti condotta con esperti medici. Infine, un utente deve studiare gli strumenti esistenti valutando il metodo ergonomico e la fattibilità.