ROBOT 2009 - CISOBOT: Robot Asistente Dotado con Interface Inteligente Basado en Modelos de Maniobras Quirúrgicas
•Descargar como PPT, PDF•
0 recomendaciones•323 vistas
El nuevo objetivo es dar un paso más hacia la cirugía en solitario. Para ello, actualmente se está desarrollando un sistema robótico autónomo dotado de dos brazos capaces de realizar movimientos de forma automática. En este sistema, un brazo se encarga del guiado de la cámara laparoscópica y otro mueve un instrumental adicional. De este modo, en intervenciones dónde resulta necesario un cirujano principal y otro ayudante, con el apoyo de estos dos brazos se podría sustituir éste último.
Recomendados
Recomendados
Más contenido relacionado
Similar a ROBOT 2009 - CISOBOT: Robot Asistente Dotado con Interface Inteligente Basado en Modelos de Maniobras Quirúrgicas
Similar a ROBOT 2009 - CISOBOT: Robot Asistente Dotado con Interface Inteligente Basado en Modelos de Maniobras Quirúrgicas (20)
Más de Robótica Médica UMA
Más de Robótica Médica UMA (14)
Último
Último (20)
ROBOT 2009 - CISOBOT: Robot Asistente Dotado con Interface Inteligente Basado en Modelos de Maniobras Quirúrgicas
- 1. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 CISOBOT: ROBOT ASISTENTE DOTADO CON INTERFACECISOBOT: ROBOT ASISTENTE DOTADO CON INTERFACE INTELIGENTE BASADO EN MODELOS DE MANIOBRASINTELIGENTE BASADO EN MODELOS DE MANIOBRAS QUIRÚRGICASQUIRÚRGICAS Grupo de Robótica Médica de la Universidad de Málaga Dpto. Ingeniería de Sistemas y Automática http://www.isa.uma.es Universidad de Málaga (España)
- 2. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 Automatización de tareas quirúrgicas Sistemas tolerantes a fallos Robots camarógrafos Robots semi-autónomos Sistemas tele-robóticos Nivel 1 Nivel 2 TIPOS DE ROBOTS QUIRÚRGICOSTIPOS DE ROBOTS QUIRÚRGICOS
- 3. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 Pruebas clPruebas clínicasínicas Pruebas conPruebas con animalesanimales 20022002 20042004 20062006 2009200919981998 InicioInicio Transferencia deTransferencia de tecnologtecnologíaía ProductoProducto comercialcomercial ANTECEDENTESANTECEDENTES
- 4. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 INTERVENCIÓN CON EL ERMINTERVENCIÓN CON EL ERM
- 5. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 Tiempo de operación: – Muestra insuficiente. – Influencia del tiempo de aprendizaje del cirujano. Decremento del número de veces que se extrae la óptica para su limpieza. Sistema de reconocimiento de voz: – Error de reconocimiento elevado (No reconoce el comando a la primera un 10% de las veces). – Influencia del tiempo de aprendizaje del cirujano. – Mejoras: algoritmo de reconocimiento y metodología de entrenamiento. Datos subjetivos: – Mejora de la estabilidad de la imagen. – Decremento del nivel de cansancio del cirujano RESULTADOS DE LOS ENSAYOS CLÍNICOSRESULTADOS DE LOS ENSAYOS CLÍNICOS
- 6. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 Robot asistente de dos brazosRobot asistente de dos brazos Cirujano y herramientas conCirujano y herramientas con marcas pasivasmarcas pasivas ComputadorComputador QuirófanoQuirófano HerramientHerramient a quirúrgicaa quirúrgica CirujanoCirujano Sensor deSensor de seguimiento 3Dseguimiento 3D NUEVA PROPUESTA: CISOBOTNUEVA PROPUESTA: CISOBOT
- 7. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 OBJETIVOS CONCRETOSOBJETIVOS CONCRETOS Establecer las tareas que puede realizar un sistema robótico dotado de dos brazos de forma automática o semiautomática. – Establecer modelos para los distintos tipos de intervenciones. Diseño de algoritmos para el guiado automático de instrumental quirúrgico en procedimientos de cirugía laparoscópica y que interaccione con el cirujano. – Problema de la coordinación persona-máquina. Definir e implantar una arquitectura con sistema supervisor con capacidad de realizar diagnosis a distintos niveles. – Detección de fallos y control tolerante a fallos.
- 8. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 ESQUEMAESQUEMA FUNCIONALFUNCIONAL Imagen BRAZOS ROBÓTICOSBRAZOS ROBÓTICOS Control de MovimientosControl de Movimientos CIRUJANOCIRUJANO PACIENTEPACIENTE VISIÓNVISIÓN Procesamiento deProcesamiento de la imagenla imagen MODELO DELMODELO DEL OPERADOROPERADOR INTERFAZ DE USUARIOINTERFAZ DE USUARIO Maniobra Actual Posición y Orientación Interacción Paciente-Instrumento Interacción Paciente-Endoscopio OrdendeMovimiento Comando de Voz Movimiento del Instrumental del Cirujano Tipo de Herramienta TRACKING 3DTRACKING 3D RECONOCEDORRECONOCEDOR DE VOZDE VOZ
- 9. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 MODELO DEL OPERADORMODELO DEL OPERADOR DesplazamientoDesplazamiento CerrarCerrar AbrirAbrir ExtraerExtraer IntroducirIntroducir PivotarPivotar Cerrar-ExtraerCerrar-Extraer Cerrar-IntroducirCerrar-Introducir Cerrar-PivotarCerrar-Pivotar Introducir-AbrirIntroducir-Abrir Introducir-PivotarIntroducir-Pivotar Pivotar-AbrirPivotar-Abrir PivotarPivotar ExtraerExtraer IntroducirIntroducir GirarGirar Acciones bAcciones básicasásicas ManiobraManiobra IntervenciónIntervención
- 10. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 EJEMPLO DE RECONOCIMIENTO DE UNAEJEMPLO DE RECONOCIMIENTO DE UNA MANIOBRAMANIOBRA FuerzaFuerza VelocidadVelocidad Acción 1Acción 1 Acción 2Acción 2 Acción 3Acción 3 TiempoTiempo TiempoTiempo AccionesAcciones ManiobraManiobra ProtocoloProtocolo 1. DESPLAZAR1. DESPLAZAR 2.2.CERRAR- EXTRAERCERRAR- EXTRAER 3.3.ABRIR - MOVERABRIR - MOVER 1. LEVANTAR1. LEVANTAR HÍGADOHÍGADO TERCER PASO DETERCER PASO DE LA INTERVENCIÓNLA INTERVENCIÓN
- 11. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 4 Grados de4 Grados de LibertadLibertad Capa SuperiorCapa Superior Capa InferiorCapa Inferior MODELO DE LA INTERVENCIÓNMODELO DE LA INTERVENCIÓN
- 12. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 Proceso Off-lineProceso Off-line MODULO DEMODULO DE ENTRENAMIENTOENTRENAMIENTO DE MANIOBRASDE MANIOBRAS LIBRERÍA DELIBRERÍA DE MODELOS DEMODELOS DE MANIOBRASMANIOBRAS Proceso On-lineProceso On-line MODULO DEMODULO DE RECONOCIMIENTORECONOCIMIENTO DE MANIOBRASDE MANIOBRAS MODULO DEMODULO DE ACQUISICIÓNACQUISICIÓN DE DATOS YDE DATOS Y CODIFICADOCODIFICADO LIBRERÍA DE MANIOBRASLIBRERÍA DE MANIOBRAS
- 13. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 1800 1900 2000 -250 -200 -150 -100 -50 -300 -200 -100 0 100 200 300 400 x (mmy (mm) z(mm) Extremo de laExtremo de la herramientaherramienta FulcroFulcro ManoMano Tabla 1. Maniobras AisladasTabla 1. Maniobras Aisladas TrayectoriaTrayectoria % Respuesta correcta% Respuesta correcta real (100real (100 ensayosensayos // maniobramaniobra)) CIRCULO 98.35 % CUADRADO 100.00 % TRIANGULO 95.87 % TablA 2. ProtocolosTablA 2. Protocolos TrayectoriasTrayectorias % Respuesta% Respuesta correcta ideal (50correcta ideal (50 ensayosensayos /protocolo)/protocolo) % Respuesta% Respuesta corecta real (50corecta real (50 ensayos /ensayos / protocolo)protocolo) 90.39 % 85.00 % 91.20 % 82.50 % 94.29 % 81.00 % RESULTADOS EN RECONOCIMIENTO DERESULTADOS EN RECONOCIMIENTO DE MANIOBRASMANIOBRAS
- 14. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 Desarrollando un robot semi- autónomo para cirugía mínimamente invasiva. Basado en la experiencia previa de un robot camarógrafo que ha sido licenciado y se encuentra en explotación comercial. Resultado concreto: Sistema de reconocimiento de maniobras probado in-vitro HERRAMIENTAA DICIONAL TORRE DE LAPAROSCOPIA SENSOR 3D POLARIS HERRAMIENTA CON MARCAS PARA EL SEGUIMIENTO CONCLUSIONESCONCLUSIONES ENDOSCOPIO
- 15. DepartamentodeIngeniería deSistemasyAutomática Grupo de Robótica Médica vfmm@uma.es WORKSHOP ROBOT 2009 Contacto: Víctor F. Muñoz Martínez.Contacto: Víctor F. Muñoz Martínez. E-mail: vfmm@uma.esE-mail: vfmm@uma.es
Notas del editor
- El grupo de robótica médica del departamento de ingeniería de sistemas y automática de la universidad de málaga, se dedica actualmente al desarrollo de nuevos asistentes robóticos que faciliten la labor del cirujano en las intervenciones de cirugía mínimamente invasiva.
- En este tipo de técnicas quirúrgicas se practican una serie de incisiones en el abdomen del paciente y por ellas se introducen herramientas denominadas de caña larga y una óptica con una cámara con la que se puede ver la zona de trabajo. Con estos procedimientos se reducen los tiempos de recuperación de los pacientes y las cicatrices, debido a esto se limitan las complicaciones en el posoperatorio. Todas estas ventajas a cambio de una mayor limitación en los movimientos, pérdida de sensibilidad y percepción 3D para el cirujano., problemas de coordinación mano-ojo y que requieren una mayor destreza que se consigue con entrenamiento. Por eso actualmente se están introduciendo en los quirófanos robots que intentan sustituir al cirujano o al asistente de éste en diferentes tareas en este tipo de procedimientos. Existen dos tipos : el primero son los robots camarógrafos que se limitan a manejar la cámara evitando el estrés y la fatiga a la que está sometido el asistente del cirujano que enfoca con el endoscopio la zona de interés. Y proporcionando una imagen más estable de la zona de trabajo y evitando extraer la óptica para limpiarla porque ha rozado con los tejidos. Pero con la utilización de robots asistentes se requiere la incorporación de un interfaz de usuario que permita la comunicación del cirujano con el sistema. De este modo, para dicha comunicación, algunos sistemas utilizan palancas de mando (joystick), otros se mueven de forma automática para que la cámara siga la pinza del cirujano, en otros casos se utiliza un giróscopo acoplado a la cabeza del cirujano, o donde el guiado se realiza mediante la voz. También se han desarrollado trabajos donde los movimientos del robot se guían de forma precisa interpretando, mediante un sistema de visión artificial, los movimientos de la cabeza del cirujano. El segundo tipo se encuentran en un nivel más elevado y tienden a la cirugía en solitario mediante la telepresencia y la telecirugía. Se ha desarrollado en este campo estructuras mecánicas especiales para portar instrumental y poder planificar trayectorias con precisión, utilizándose dispositivos hápticos para proporcionar de sensación de tacto a los cirujanos e incluso pudiendo discriminar con las pinzas distintos tipos de tejidos. En estos sistemas hay que destacar las prestaciones de precisión que aumentan la destreza del cirujano para realizar tareas submilimétricas. Sin embargo, la enorme complejidad y coste de estos equipos, limitan el impacto clínico que pudieran alcanzar. Por esta razón, se busca desarrollar sistemas más sencillos para desarrollar tareas específicas que no requieran ni instalaciones especiales, ni formación específica. Estos son los robots semiautónomos.
- Este grupo ha diseñado y construido íntegramente el sistema ERM, que pertenece a el tipo de los robots camarógrafos. La configuración del mismo aparece en la primera figura, se trata de un robot compuesto por cinco grados de libertad: tres activos con configuración PRR y una muñeca pasiva de dos grados para conseguir la orientación requerida. El sistema cuenta con un interfaz de usuario con dos modos de funcionamiento: a través de órdenes verbales, y mediante el movimiento de un joystick. Las fases por las que ha pasado este proyecto desde que en 1998 se comenzase con la investigación son las siguientes: en 2002 se realizaron las pruebas con animales, en 2004 las pruebas clínicas con personas, la trasferencia de tecnología se produce en 2006 licenciando la patente a la empresa SENER y en este año ya se hace producto comercial, habiendose introducido en quirófano el pasado mayopara conseguir el marcado CE.
- Arriba, derecha… Este proyecto comenzó gracias a la concesión de una ayuda por parte de los fondos de investigación sanitaria en el año 2000, de esta forma comenzamos un proyecto de investigación cuyo obGarcíajetivo final era el diseño y la fabricación de un brazo robótico aplicado a la cirugía laparoscópica que a través de comandos de voz permitiera la cirugía en solitario. Para ello, se formó un equipo multidisciplinar entre el departamento de ingeniería de sistemas y automatica, cuyo investigador responsable es Alfonso García Cerezo y la cátedra de cirugía cuyo responsable es el profesor Carlos Vara. El grupo investigador lo formaban: Victor Muñoz, Jesus Gomez de Gabriel, Jesus Fernandez Lozano, Isabel García, Javier Serón, Carlos Perez del Pulgar y Francisco Dominguez. Los cirujanos adscritos fueron los doctores Montserrat Salvi, Eduardo Sanchez de Badajoz, Rafael Toscano y Carlos Vara. Y tras las necesarias pruebas de seguridad y compatibilidad electromagnética requeridas por las autoridades sanitarias, el prototipo comenzó sus ensayos clínicos en junio del 2004. En el año 2005, la firma SENER empresa española de ingeniería se interesó por el proyecto y así en marzo del año 2006, se firmó un contrato de colaboración entre la dirección de SENER y la excelentisima rectora Adelaida de la Calle, , para el desarrollo conjunto del brazo robótico. El modelo comercial ya validado con el marcado CE se introdujo en mayo del 2009 por primera vez en clínica humana en el Hospital Clínico Universitario de Málaga. De esta forma, se ha conseguido el primer robot para la asistencia de cirugía laparoscópica integramente diseñado y desarrollado en España.
- Los ensayos clínicos que se han realizado con el sistema ERM muestran que se disminuye el número de veces que se extrae la óptica para su limpieza, mejora la estabilidad de la imagen y disminuye el cansancio del cirujano. En cuanto a los tiempos de operación no se puede afirmar que haya una disminución significativa y hay que tener en cuenta el tiempo de aprendizaje del cirujano. El interfaz como se dijo es por joystick o con comandos de voz, y en cuanto al sistema de reconocimiento de voz se produce un error de reconocimiento elevado ya que no reconoce el comando a la primera el 10 % de las veces. También se deben realizar mejoras en el algoritmo de reconocimiento y entrenamiento de este sistema de reconocimiento de voz.
- Basado en este trabajo previo y las experiencias adquiridas, el grupo quiere dar un paso más y trabajar hacia la cirugía en solitario con el desarrollo de un robot semiautónomo de dos brazos: uno que maneja la cámara laparoscópica y otro que mueve un instrumental adicional de apoyo al cirujano en tareas concretas. Como interfaz de este asistente quirúrgico se opta por un reconocedor de voz y un sistema reconocedor de maniobras que va a complementar a los comandos de voz. El interfaz está basado en modelos de maniobras quirúrgicas que se han construido a partir del comportamiento de un cirujano en una intervención concreta. Esto se debe a que no se quiere sobrecargar al cirujano con botones y pedales y con complicados comando de voz. El interfaz propuesto es capaz de interpretar los gestos quirúrgicos del cirujano, de manera que el sistema los reconozca y en base a estos pueda anticiparse y cooperar con el cirujano. Para conseguir esto, el cirujano mueve el instrumental al que se le ha acoplado unas marcas reflectantes para que el sensor localizador 3D capte la orientación y posición del mismo. Esta información junto con la adquirida en la cámara laparoscópica se lleva al sistema donde se encuentran los módulos que contienen los modelos de las maniobras y el módulo de reconocimiento de maniobras que devuelve la maniobra actual que está desarrollando el cirujano. El planificador de trayectorias en función de la maniobra actual realiza las actuaciones programadas para los diferentes brazos: para mover la cámara y el instrumento de apoyo. De los brazos se devuelve al sistema las fuerzas y posiciones del instrumental y la orientación de la cámara.
- Con la construcción del CISOBOT se quieren cubrir una serie de objetivos:-Establecer las tareas que puede realizar un sistema robótico dotado de dos brazos de forma automática o semiautomática, estableciendo modelos para los distintos tipos de intervenciones. - Diseñar algoritmos para el guiado automático de instrumental quirúrgico en procedimientos de cirugía laparoscópica y que interaccione con el cirujano, solucionándose el problema de la coordinación persona-máquina. -Y definir e implantar una arquitectura con sistema supervisor con capacidad de realizar diagnosis a distintos niveles, con la detección de fallos y el control tolerante a fallos.
- Este es el esquema funcional del CISOBOT: donde se puede apreciar como interactúa el cirujano con el paciente de forma directa con sus herramientas y a través del CISOBOT con comandos de voz y con sus gestos quirúrgicos que son recogidos por el tracking 3D. Por lo tanto el interfaz de usuario consta de un reconocedor de voz y de un reconocedor de maniobras. El módulo del modelo del operador es donde se encuentra la librería de maniobras construida y la herramienta de reconocimiento. Para reconocer la maniobra actual se introducen las posiciones, velocidades y fuerzas de las herramientas y también la información obtenida del procesamiento de la imagen como tipo de instrumental y material que se hay en la zona de trabajo. Con toda esta información se mueven los brazos robóticos de según el modelo de la intervención que se esté desarrollando. El planificador de trayectorias se encarga de esto.
- El objetivo de este nuevo interfaz es complementar a los comandos de voz con un sistema de reconocimiento de gestos quirúrgicos y para esto, se necesita construir el modelo del operador, se comienza por estudiar el procedimiento quirúrgico seleccionado y se estudia la interacción del cirujano con el asistente, las tareas que hay que coordinar, también cómo se puede dividir el protocolo en maniobras más simples y éstas en un conjunto de movimientos básicos que son más fáciles de caracterizar. El movimiento del instrumental se limita a cuatro grados de libertad debido a las restricciones que le impone el punto de fulcro. Por lo tanto los protocolos son conjuntos de maniobras y las maniobras son conjuntos diferentes de movimientos básicos.
- Por lo tanto el elemento más simple es un movimiento básico y para reconocerlo necesitamos conocer cuales son los parámetros característicos que lo definen: fuerza, posiciones, velocidad…) Como podemos ver en las gráficas cada estado o movimiento básico tiene sus características, y en función de esto se trata de conocer los patrones de movimiento que se están realizando.
- De esta forma el modelo de una operación genérica quedaría de la siguiente forma: una capa superior con un modelo determinista que relaciona las diferentes maniobras entre sí con condiciones de finalización de maniobra y de relación entre ellas que son conocidas. La condición de cambio de maniobra puede ser un gesto especial dado por parte del cirujano o un cambio de herramienta. La capa inferior modela cada maniobra, en esta capa los modelos elegidos son los modelos ocultos de markov porque proporcionan una gran flexibilidad para el modelado de comportamientos humanos y se pueden utilizar como herramienta de reconocimiento de patrones. En este caso, el reconocimiento de las maniobras. Cada maniobra tiene su modelo que tiene diferentes relaciones entre los movimientos básicos. Lo que se observa son los parámetros característicos que pueden describir un movimiento básico y la matriz de relaciones de estos parámetros con su movimiento básico.
- Se necesita un proceso off-line de entrenamiento para construir el modelo del operador o librería de maniobras. Mediante un módulo de adquisición de datos y codificado de los mismos, se obtiene la información de los movimientos del instrumental, el tipo de herramienta que se está utilizando y la velocidad del mismo mientras el cirujano desarrolla las diferentes acciones básicas o movimientos básicos. Entonces con el conocimiento del cirujano y el algoritmo de entrenamiento de Baum-Welch se ajustan los parámetros de cada modelo de cada maniobra. Estos modelos ya ajustados pasan a formar parte de la librería de maniobras y dan lugar al modelo del operador junto con el modelo del protocolo. El proceso de reconocimiento es el que actúa on-line. En este caso, se adquieren los datos a través del módulo de adquisición y esta secuencia de movimientos básicos que está ejecutando el cirujano con la librería de maniobras, el modelo de la intervención y el algoritmo de reconocimiento se extrae cual es la maniobra que se está realizando.
- Para validar este tipo de modelos estocástico en el modelado de maniobras, se han diseñado un conjunto de maniobras y protocolos ficticios. Estas maniobras consisten en desarrollar una serie de figuras geométricas con el extremo del instrumental. Estas figuras están contenidas en un plano paralelo al suelo y los movimientos básicos son las distintas formas de dibujar en el mismo (rectas verticales, rectas horizontales, etc) La composición de una serie determinada de estos movimientos básicos definirán un cuadrado, un círculo o un triángulo. Como condición inicial y final de la maniobra tenemos la introducción y la extracción de la herramienta del abdomen del pelvitrainer. A través de la imagen de la torre de laparoscopia se puede observa el interior y realizar las distintas figuras. Una vez que se han entrenado los modelos se procede al testeo de los mismos, y la tabla 1 expone los resultados en el reconocimiento de maniobras aisladas. El porcentaje de aciertos es elevado aunque cuando se construyen los protocolos ficticios ese valor desciende del ideal, esto es debido a la condición de finalización de la maniobra y a la longitud del protocolo.
- Con esta propuesta de interfaz basado en el reconocimiento de maniobras y con el trabajo que se está desarrollando con el sistema de control para mover los dos brazos modulares de Robotnik que manejan los diferentes instrumentos y con el procesamiento de la imagen laparoscópica para seguimiento del instrumental y construcción de mapas 3D del interior del paciente, se quiere conseguir un robot semi-autónomo para cirugía laparoscópica, que está basado en la experiencia previa de un robot camarógrafoERM. El siguiente paso será adquirir datos reales en el interior de un quirófano en una operación de colecistectomía.