Virtual Reality Medical Training System
•Descargar como PPTX, PDF•
1 recomendación•130 vistas
TRACK 8. Lastest technology trends in health science education Authors: Santiago Gonzalez Izard and Juan Antonio Juanes Mendez
Recomendados
Recomendados
Más contenido relacionado
Destacado
Destacado (20)
Similar a Virtual Reality Medical Training System
Similar a Virtual Reality Medical Training System (20)
Más de Technological Ecosystems for Enhancing Multiculturality
Más de Technological Ecosystems for Enhancing Multiculturality (20)
Último
Último (20)
Virtual Reality Medical Training System
- 2. Viaje alucinante, Richard Fleischer, 1966
- 3. El chip prodigioso, Joe Dante, 1987
- 4. Con la Realidad Virtual podemos hacer un verdadero viaje por el interior de las diferentes estructuras anatómicas del ser humano. Una experiencia única y una herramienta formativa que nos permiten llegar donde hasta ahora sólo la ciencia ficción nos había conseguido llevar. http://movie-inventions.wikia.com/wiki/Kraken_II_Submersible_Pod
- 5. Presentar una herramienta tecnológica, de RV, que facilite la formación médica en el campo de anatomía humana, con extensión aplicativa al ámbito de la neurorradiología y la neurocirugía; facilitando la comprensión de la morfología del cráneo mediante la inmersión en un entorno virtual realista FORMACIÓN MEDIANTE INMERSIÓN VIRTUAL
- 6. Brindar al usuario la posibilidad de interactuar con el sistema para valorar las diferentes explicaciones y poder aplicar estos conocimientos a la práctica clínica, aprovechando las ventajas que aporta la Realidad Virtual. AUTOEVALUACIÓN
- 7. Gafas Samsung Gear VR Disponen de un pequeño panel táctil que nos permite disponer de una herramienta hardware para interactuar con el usuario. Alcanzan una alta resolución de pantalla y resultan muy cómodas para el usuario. Se ha creado el sistema además para gafas Cardboard, pudiendo desarrollar cursos de Realidad Virtual para prácticamente cualquier smartphone y gafas. Además estas gafas tienen un coste muy reducido. Gafas VR de bajo coste Cardboard Samsung Gear VR Innovator Edition
- 8. Modelo 3D del cráneo Tomógrafo computarizado Asteion, marca Toshiba Medical Systems. Complejo Hospitalario Universitario de Salamanca. Tomógrafo Computarizado utilizado. Intervalo de corte de 1,5mm
- 9. Modelo 3D del cráneo A partir de los ficheros raw data DICOM que nos proporcionó el equipo, se reconstruyó, para cada orientación, un volumen que fue salvado en formato ANALYZE 7.5 Secciones realizadas Composición de mallado 3D partiendo de las secciones
- 10. Se obtuvieron modelos 3-D de superficie, consistentes en modelos geométricos delimitados por mallas poligonales Modelo 3D del cráneo Mallado resultante
- 11. Aplicando un algoritmo conocido como marching cubes, se obtuvo un modelo de malla triangular de la superficie de cada una de estas estructuras craneales. Dada la alta resolución de las imágenes, se procedió a la simplificación y suavizado de la malla. Modelo 3D del cráneo Interior de un cráneo con el esfenoides remarcado
- 12. Para la implementación del sistema hemos utilizado el motor de videojuegos Unity3D, junto con el paquete de herramientas de desarrollo o SDK que provee Oculus (desarrollado también para Cardboard). Desarrollo de la experiencia virtual del curso mediante Unity3D
- 13. Existen diferentes entornos de desarrollo que están orientados a la implementación de sistemas de Realidad Virtual, que hasta ahora se limitaban a videojuegos: Unreal y Unity 3D Aunque ambos sistemas son estables y potentes, se ha elegido Unity para el desarrollo de este sistema porque se integra fácilmente con los SDKs de Oculus y Cardboard
- 14. Visualización estereoscópica, explicaciones iniciales desde el exterior del cráneo Gafas Samsung Gear VR Innovator Edition utilizadas
- 15. Menú inicial Menú de navegación del curso Visión estereoscópica
- 25. Interior de un cráneo con el esfenoides remarcadoVisión del foramen óptico desde el interior del cráneo
- 26. El alumno viaja por el interior del cráneo para visualizar sus distintas partes
- 27. El usuario debe señalar la estructura anatómica sobre la cual se le está preguntando AUTOEVALUACIÓN
- 29. Se ha conseguido una experiencia virtual, cuidadosamente diseñada, que puede proporcionar, al usuario (estudiante), un sentido de control sobre el entorno, y facilitar en gran medida los procesos de aprendizaje y entrenamiento en el ámbito médico. La utilización de estos medios tecnológicos de visión estereoscópica en la formación médica, facilitan y ayudan a mejorar la capacitación en habilidades clínicas y quirúrgicas.
- 30. ¡Hagamos un viaje alucinante!
Notas del editor
- Buenos días, mi nombre es Santiago González Izard y voy a presentar un sistema que he desarrollado junto con Juan Antonio Juánes Méndez y la colaboración de la empresa en la que trabajo: ARSOFT. En Arsoft llevamos más de 4 años desarrollando sistemas avanzados de Realidad Aumentada y Realidad Virtual; llevamos más de un año colaborando con el Grupo de Investigación Visual Med de la Universidad de Salamanca, desarrollando sistemas de Realidad Virtual para la formación médica.
- Seguramente todos nos acordamos de unas películas en los que los protagonistas se hacían diminutos y se introducían en el interior del cuerpo humano, dando lugar a unos viajes alucinantes. Ese es precisamente el nombre de la película de Richard Fleischer del año 66.
- Y la que más me suena a mí, ya que la otra tiene ya unos años, es la de El Chip Prodigioso, que apareció unos años después, con Dennis Quaid y Meg Ryan. El protagonista se hacía diminuto y era capaz de viajar por el interior de otro cuerpo humano, resultando muy interesante para el espectador, que de pronto se descubría aprendiendo sobre la anatomía humana. En estas películas podíamos ver el interior del cuerpo humano de una forma única, pero claro, era sólo ciencia ficción.
- El objetivo de este proyecto es acercar un poco esa posibilidad de viajar por el interior del cuerpo humano gracias a la con Realidad Virtual. Por ahora no somos capaces de hacernos diminutos e introducirnos dentro de un cuerpo humano de verdad, pero sí que podemos hacer este viaje mediante una inmersión virtual.
- La idea es justo esa: el usuario, en este caso un alumno de medicina, se pone las gafas de Realidad Virtual y elige la explicación que quiere ver. Este curso concreto lo hemos realizado sobre el cráneo humano, pero lo cierto es que se podría hacer de cualquier parte del cuerpo, como explicaré más adelante. Entonces cuando el alumno se pone las gafas lo que verá será el cráneo desde el interior, como si se hubiera hecho pequeño y se hubiera metido dentro. Mientras está ahí dentro, obtendrá una serie de explicaciones y, acompañando a las explicaciones, se ejecutarán ciertas animaciones virtuales. El objetivo es hacer mucho más ameno el curso pero también que el alumno aprenda más y mejor, ya que podrá ver de una forma única aquellas partes del cuerpo humano que está estudiando.
- Se incluye también un apartado de autoevaluación que, en el caso de este curso, consiste en introducir al usuario/alumno dentro del cráneo e indicarle que señale ciertas partes del mismo, para saber si realmente conoce ya toda su estructura anatómica. Esta autovaluación se puede hacer todo lo compleja que queramos.
- En cuanto a la metodología, está claro que necesitaremos unas gafas de Realdiad Virtual para disfrutar del curso, sin embargo esto no implica tener que gastar una gran cantidad de dinero, ya que los alumnos podrán utilizar sus propios smartphones y comprar unas gafas desde 3€, ya que son simplemente una estructura de cartón con unas lentes tipo lupa y algún botón o similar para interactuar con el sistema. Por tanto estamos hablando de un curso virtual que cualquier alumno podría disfrutar con una inversión mínima.
- El modelo 3D del cráneo que hemos utilizado para diseñar el curso virtual, lo hemos generado utilizando un tomógrafo computarizado Asteion, de Toshiba, instalado en el Complejo Hospitalario Universitario de Salamanca, con un intervalo de corte de 1,5 mm.
- Esto nos ha dado como resultado imágenes DICOM que nos han permitido generar una malla 3D del cráneo gracias al software Analyze.
- El resultado como véis es una malla con mucha calidad…
- Para la generación del modelo se utilizó el algoritmo Marching Cubes, que es muy conocido y utilizado y que a día de hoy tiene ya muchas variantes. El problema de los sistemas de Realidad Virtual es que se ejecutan normalmente en dispositivos móviles, y esto tiene un problema: que los móviles a pesar de ser muy potentes tienen ciertas limitaciones en cuanto a rendimiento. Lo que quiero decir es que no podemos cargar un modelo 3D con millones de polígonos, es decir, de mucha calidad, porque el sistema podría ir muy lento. Por eso se procedió a disminuir el número de polígonos de la malla, para que luego el móvil pueda cargar el modelo sin ningún problema.
- Una vez teníamos la malla del modelo, tenemos que diseñar todo el curso, o lo que es lo mismo, toda la experiencia de Realidad Virtual. Lo primero es dar una apariencia más real al modelo, asignándole un material, color, luz… Luego hay que diseñar todas las animaciones siguiendo el guión preparado del curso, programando dicho guión en diferentes scripts. Para que posteriormente se pueda ver todo esto en 3D con una visión estereoscópica hemos utilizado los SDK de Oculus y de Cardboard. Un SDK básicamente consiste un conjunto de herramientas software que nos facilitan mucho la tarea.
- Como hemos visto, nosotros hemos utilizado el motor de videojuegos Unity 3D, que tiene la ventaja de ser multiplataforma, por lo que el mismo desarrollo nos ha valido para diseñar el curso para móviles Android, iPhone o incluso las gafas Oculus Rift o HTC Vive. Incluso podríamos sacar una versión del curso virtual para colgarlo en una web, aunque obviamente el usuario ya no tendría la sensación de inmersión.
- Los resultados que hemos obtenido han sido muy satisfactorios, consiguiendo una sensación de inmersión y mejorando considerablemente la capacidad de comprensión de los alumnos. Yo por ejemplo que no tengo ni idea de medicina, he conseguido aprender bastante sobre las estructuras anatómicas del cráneo, pero obviamente cualquiera que entienda realmente de esto lo valorará mucho más que yo.
- Lo primero que vemos al entrar en el curso virtual, es un menú con dos opciones. La sensación es como si estuviéramos flotando en el Universo con dos imágenes a nuestro alrededor, que son nuestros botones. Cuando elegimos la opción de Visita Guiada o curso virtual, nos aparecerá un menú con los distintos apartados del temario, en este caso una pequeña introducción sobre el cráneo, donde lo veremos desde fuera, luego nos mostraría el exocráneo, la fosa anterior, que ya la veremos desde dentro, y por último la fosa media y fosa posterior., que por supuesto también se ven desde dentro.
- ¿Y en qué consiste una visión estereoscópica? Bueno, básicamente visión estereoscópica o estereoscopía consiste en cualquier técnica que nos permita tener la sensación de profundidad en una imagen. En este caso, lo que tenemos son dos imágenes que son prácticamente iguales, pero no iguales del todo. Cada una está tomada desde una perspectiva ligeramente diferentes, y un ojo verá una imagen y el otro ojo la otra, de forma que nuestro cerebro las junta y se crea un efecto 3D. En realidad, es el mismo mecanismo por el cual nosotros vemos el mundo en 3D gracias a nuestros dos ojos, donde cada uno de ellos coge una imagen del mundo desde una perspectiva ligeramente diferente.
- Como vemos, se señalan diferentes huesos para que el alumno pueda identificarlo fácilmente durante las explicaciones.
- Aquí tenemos señalado por ejemplo el esfenoides.
- o los huesos temporales. Vemos que durante las explicaciones, mientras que algunos huesos se señalan, hacemos que otros sean semitransparentes, para dar más importancia a los señalados o para poder ver a través de ellos y poder señalar así un hueso de la parte interior del cráneo.
- Esta imagen está tomada en el momento en que entramos dentro del cráneo a través del agujero magno. Lo que hacemos es mover la cámara con un movimiento programado para que se introduzca por el agujero y se sitúe en un punto concreto. Aunque con estas gafas no es posible, también podríamos permitir al usuario andar por el interior de un cráneo, pero claro, eso supondría contar con un espacio diáfano para que se pudiera mover con libertad.
- Como vemos, no se trata simplemente de señalar huesos, también incluímos ciertas animaciones virtuales para hacer la experiencia más atractiva y también para mejorar las explicaciones. Por ejemplo vemos como las líneas separan las diferentes fosas craneales y las flechas me señalan la fosa craneal posterior,
- fosa craneal media,
- y fosa craneal anterior.
- Los diferentes forámenes del cráneo los hemos señalado con unos esferas en 3D que vibran para que el alumno vea claramente dónde se encuentran. Además, la cámara se va moviendo por el interior del cráneo para señalar que se vean correctamente.
- Por tanto como podéis ver se trata de un primer acercamiento a un viaje por el interior del cuerpo humano, empezando por el cráneo y orientando la herramienta completamente hacia la formación.
- Como decía al principio, se introduce además un pequeño apartado de autoevaluación donde se pretende que el propio alumno compruebe sus conocimientos, para saber si tiene que repetir el curso o no. La ventaja de esta forma de evaluación es que el alumno no reconoce una estructura anatómica por una imagen, sino que realmente es como si la tuviera delante y debe señalarla como si fuera real. Vamos a ver un vídeo del sistema, aunque la verdad es que el vídeo no muestra mucho del mismo, ya que en realidad para comprobar las ventajas que aporta hay que verlo con gafas, para obtener una experiencia inmersiva, que es la principal ventaja.
- Bueno, como véis el video no impresiona nada, pero he traído las gafas y quien quiera probarlo que me lo comente porque es cuando realmente se entienden sus ventajas. Para finalizar, decir que se ha conseguido una herramienta de formación que realmente es útil para los alumnos y que además se puede utilizar para mejorar las capacidades clínicas y quirúrgicas de los médicos.
- Para el futuro, estamos creando una nave en 3D para que la experiencia acabe siendo lo más parecida posible a lo que veíamos en las películas que comentaba al principio, pudiendo navegar realmente de forma autónoma por el interior de un cuerpo humano. Muchísimas gracias por su atención.