Tesis Belén Estebanez - Diseño e Implantación de un Sistema Multimodal para un Asistente Quirúrgico
•
0 recomendaciones•287 vistas
Esta tesis trata el problema de la interfaz persona–máquina en la robótica médica, concretamente en el campo de la cirugía laparoscópica en solitario. Para este ámbito de aplicación, resulta necesario evitar al cirujano el manejo de dispositivos complejos que le dificultan y distraen de su tarea quirúrgica habitual. Para conseguir este objetivo, se propone una interfaz multimodal capaz de interpretar los gestos quirúrgicos y los comandos de voz, imitando la forma en la que un asistente humano se relaciona con el cirujano principal. Los sistemas de reconocimiento de maniobras y de voz que forman parte de la interfaz multimodal propuesta han sido implantados en un asistente quirúrgico de dos brazos, de tal manera que se ha validado el funcionamiento del mismo con la realización de experimentos in-vitro al simular las tareas quirúrgicas que aparecen en el protocolo de colecistectomía, concretamente la sutura. Para ello, se ha contado con la participación de cirujanos expertos y de personal no especializado con el objeto de realizar el sistema de reconocimiento de gestos quirúrgicos propuesto así como para su validación experimental. De este modo, el sistema multimodal propuesto se muestra adecuado para la identificación de las fases del protocolo laparoscópico.
Recomendados
Más contenido relacionado
Similar a Tesis Belén Estebanez - Diseño e Implantación de un Sistema Multimodal para un Asistente Quirúrgico
Similar a Tesis Belén Estebanez - Diseño e Implantación de un Sistema Multimodal para un Asistente Quirúrgico (20)
Más de Robótica Médica UMA
Más de Robótica Médica UMA (16)
Último
Último (20)
Tesis Belén Estebanez - Diseño e Implantación de un Sistema Multimodal para un Asistente Quirúrgico
- 1. DISEÑO E IMPLANTACIÓN DE UN SISTEMA MULTIMODAL PARA UN ASISTENTE QUIRÚRGICO DEFENSA DE TESIS DOCTORAL María Belén Estebanez Campos Director: D. Víctor F. Muñoz Martínez Codirectora: Dña. Isabel García Morales DEPARTAMENTO DE INGENIERÍA DE SISTEMAS Y AUTOMÁTICA UNIVERSIDAD DE MÁLAGA Mayo 2013
- 2. Índice de Contenidos 1. Introducción 2. Objetivo 3. Modelado y Reconocimiento de Maniobras Quirúrgicas 4. Interfaz Multimodal y Colaboración de un Asistente Robótico 5. Implantación y Experimentos 6. Conclusiones y Líneas Futuras
- 4. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Cirugía Ortopédica Neurocirugía ROBODOC NEUROMATE Radioterapia CYBERKNIFE La Robótica en la Medicina Conclusiones y Líneas Futuras Cirugía Mínimamente Invasiva 1
- 5. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos AUTÓNOMOS COOPERATIVOS TELEOPERADOS Clasificación de Robots por Modos de Funcionamiento ASISTENTES SEMI-AUTÓNOMOS Conclusiones y Líneas Futuras 1
- 6. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Robots en Cirugía Laparoscópica TELE-OPERADOS ASISTENTES SEMI-AUTÓNOMOS Conclusiones y Líneas Futuras MULTI-BRAZOS CAMARÓGRAFOS 1
- 7. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Robots en Cirugía Laparoscópica TELE-OPERADOS ASISTENTES SEMI-AUTÓNOMOS Conclusiones y Líneas Futuras CÁMARA Y HERRAMIENTA DE APOYO 1
- 8. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos LAPMAN de Medsys (Polet, 2004) Robot ERM (Muñoz, 2006) Da VINCI (Niemeyer, 2000) Face MOUSe (Nishikawa, 2003) Interfaz de Comunicación Persona-Máquina Conclusiones y Líneas Futuras 1
- 9. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Colaboración en Tareas Quirúrgicas Conclusiones y Líneas Futuras • Conocimiento estructurado de la intervención y sus tareas. • Capacidad para extraer e interpretar información durante la intervención. • Capacidad para realizar tareas de forma automática sin órdenes directas del cirujano. CIRUJANO: Corta YO: Sujeto KalAR System (Ko, 2007) 1
- 10. 2. Objetivo
- 11. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Aportaciones 1. Sistema de reconocimiento de maniobras quirúrgicas. 2. Sistema de predicción de la localización del instrumental. 3. Interfaz multimodal con reconocimiento de maniobras quirúrgicas y de voz para el manejo de un asistente semi- autónomo. Diseñar una interfaz de comunicación persona-máquina para un robot asistente semi-autónomo que colabore con el cirujano durante las tareas quirúrgicas laparoscópicas, de manera intuitiva y natural. Objetivo Conclusiones y Líneas Futuras 2
- 12. 3. Modelado y Reconocimiento de Maniobras Quirúrgicas
- 13. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Información de la intervención: • Número de participantes. • Tipos de instrumentos. • Gestos realizados con los instrumentos. • Trayectorias de los extremos de los instrumentos. • Estado de apertura de las pinzas. • Fuerzas y momentos en el extremo de la herramienta. • Movimientos del cirujano: ojos, brazos, manos y gestos faciales. Estudio de los Procedimientos Quirúrgicos Movimientos de las dos herramientas quirúrgicas que maneja el cirujano. Conclusiones y Líneas Futuras 3
- 14. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos INTERVENCIÓN MANIOBRAS INTERACCIONES DEL INSTRUMENTAL Comportamiento del Cirujano Conjunto de modelos que permiten representar de forma matemática: la intervención y las maniobras quirúrgicas que la forman. Conclusiones y Líneas Futuras 3
- 15. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos La interacción del instrumental se define como la localización relativa entre las dos herramientas y las velocidades de sus extremos en un instante de tiempo. e1 e5 e7 INTERACCIÓN 1 INTERACCIÓN 5 INTERACCIÓN 7 Cada interacción representada con una etiqueta ei denominada característica observable. Interacción del Instrumental Conclusiones y Líneas Futuras 3
- 16. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Maniobra Una maniobra es una secuencia determinada de interacciones del instrumental. INTERACCIONES Interacción1 Interacción 2 Interacción 3 Interacción 4 Interacción 5 Interacción 6 MANIOBRAS Maniobra 1 Maniobra 2 Maniobra 3 Maniobra 4 e1 e5 e2 e4 e3 e6 e1 e2 e3 e6 e2 e4 e5 e4 e3 e6e2 e4e5 e2e5 e6 e2 Maniobra 5 Conclusiones y Líneas Futuras 3
- 17. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Intervención La intervención es una secuencia de maniobras que, de forma ideal, tienen que completarse para finalizar la operación. INICIO EXPONER CONDUCTO PONER CLIP/NUDO EN CONDUCTO CORTAR CONDUCTO SEPARAR VESÍCULA RECOGER VESÍCULA FIN ELEVAR / SUJETAR VESÍCULA COLECISTECTOMÍA Conclusiones y Líneas Futuras 3
- 18. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelo de la Intervención INICIO FIN Maniobra β0 T1 T2 T3 T5,i T4 i<=2 T7,i i<=2 T6 T8 T9 Modelo determinista de la intervención DM = {Δ,Tk, β0, βF} • Δ : Conjunto de maniobras quirúrgicas: {β0, β1, …, βF}. • Tk : Transición entre maniobras. • β0 : Maniobra inicial. • βF : Maniobra final. Maniobra β1 Maniobra β2 Maniobra β3 Maniobra β4 Maniobra βF COLECISTECTOMÍA Conclusiones y Líneas Futuras 3
- 19. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelo de la Maniobra Maniobra PATRÓN β3 Maniobra REAL β3 Maniobra REAL β3 Conclusiones y Líneas Futuras Técnicas y herramientas para el modelado de maniobras: 3
- 20. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelo de la Maniobra Modelo Oculto de Markov (HMM) λ= {SQ,E,A,B,π} • Conjunto SQ de estados: {q0,q1,…,qN} • Matriz A: A={aij}, aij=P[qt+1=qj|qt=qi] • Conjunto E de características: {e0,e1,…,eM} • Matriz B: B={bj(ek)}, bj(ek)=P[ek en t |qt=qi] • Matriz inicial π Conclusiones y Líneas Futuras q1 a12 q2 q3 q4 a13 a24 a34 a23a32 a22 a33 e1 e2 e4 e3 a11 a44 b2(e2) b1(e1) b4(e4) b3(e3) 3
- 21. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelo de la Maniobra : Funcionamiento del HMM e1 Conclusiones y Líneas Futuras a11 a44 q1 a12 q2 q3 q4 a13 a24 a34 a23a32 a22 a33 e1 b1(e1) 3
- 22. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelo de la Maniobra : Funcionamiento del HMM e1 e2 Conclusiones y Líneas Futuras q1 a12 q2 q3 q4 a13 a24 a34 a23a32 a22 a33 e2 a11 a44 b2(e2) 3
- 23. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelo de la Maniobra : Funcionamiento del HMM e1 e2 e3 Conclusiones y Líneas Futuras q1 a12 q2 q3 q4 a13 a24 a34 a23a32 a22 a33 e3 a11 a44 b3(e3) 3
- 24. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelo de la Maniobra : Funcionamiento del HMM e1 e2 e3 P O|λ = Pi O|λ n i=1 P1 O|λ = a11b1 e1 ∙ a12b2 e2 ∙ a13b3 e3 O = Conclusiones y Líneas Futuras q1 a12 q2 q3 q4 a13 a24 a34 a23a32 a22 a33 a11 a44 e1 b1(e1) e2 b2(e2) e3 b3(e3) Algoritmo Forward-Backward 3
- 25. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Reconocimiento de Maniobras Quirúrgicas LIBRERÍA DE MANIOBRAS P O|λ1 P O|λ2 P O|λ3 P O|λ4 P O|λ5 O =Maniobra real β3 λ1 λ2 λ3 λ4 λ5 Conclusiones y Líneas Futuras 3
- 26. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Entrenamiento de Modelos de Maniobras e1 e2 e3 e4 e5 e6 Matriz A Matriz B q1 q2 q3 q4 q1 q2 q3 q4 0.2 0.2 0.2 0.2 0.1 0.3 0.2 0.4 0 0.2 0.6 0.2 0.3 0.3 0.2 0.2 0.1 0.2 0.2 0.1 0 0.1 0 0 0 0.2 0.1 0.6 0.3 0.3 0 0 0.2 0.2 0.5 0.4 0 0.1 0.1 0.3 q1 q2 q3 q4 Conclusiones y Líneas Futuras Matriz A Matriz B Topología : Algoritmo Baum-Welch 3
- 27. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Obtención de la Característica Observable ei CODIFICADO DE DATOS PROCESADO DE DATOS PREPROCESADO DE DATOS Localización de Herramientas del Cirujano Característica Observable eiVCi VCi = [c1 c2 c3 c4] i=1…M M= nc1·nc2·nc3·nc4 α D vI vD Conclusiones y Líneas Futuras C1 C2 C3 C4 1 c1 20°100° 2 34 5 Algoritmo K-Means ei 3
- 28. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos • Velocidades de los extremos de las dos herramientas. • Tiempo medio de duración de la próxima maniobra quirúrgica. Umbralvv ID 22 maxmin, ttm UUt Umbral 0 t Umbral mintU maxtU e5 e1 e6 e5 e8 e2 e7 INICIO FIN e5 Extracción de la Secuencia de la Maniobra del Flujo Quirúrgico e6 e1 Conclusiones y Líneas Futuras 3
- 29. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos PROCESO FUERA DE LÍNEA PROCESO EN LÍNEA HMMs de las maniobras {λ 1, λ 2, …} SISTEMA DE RECONOCIMIENTO ALGORITMO FORWARD-BACKWARD SISTEMA DE ENTRENAMIENTO ALGORITMO BAUM-WELCH MODELO DE INTERVENCIÓN CODIFICADO DE DATOS PROCESADO DE DATOS PREPROCESADO DE DATOS MODELO DEL COMPORTAMIENTO DEL CIRUJANO Localización de Herramientas del Cirujano Característica Observable ei Maniobra más probable en cada instante Secuencia de Características Observables [e2 e1 e40 e5 …] VCi Secuencia de Características Observables [e2 e1 e40 e5 …] Característica Observable ei Maniobra βk HMMs de las maniobras {λ 1, λ 2, …} Transición Tk LIBRERÍA DE MANIOBRAS Interpretación de Maniobras Quirúrgicas SELECTOR DE SECUENCIAS VD , VI Tiempo medio de βk Maniobra Reconocida Conclusiones y Líneas Futuras 3
- 30. 4. Interfaz Multimodal y Colaboración de un Asistente Robótico
- 31. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelo de la Intervención Conclusiones y Líneas Futuras Link video SUTURA LAPAROSCÓPICA CON TÉCNICA ROSSER 4
- 32. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos FASE 1: INSERCIÓN DE LA AGUJAModelo de la Intervención Conclusiones y Líneas Futuras FASE 2 FASE 1 FASE 3 FASE 4 β 2 β 3 β 4β 5 β 6 β 8 β 9 β 7 β 11β 10 β 12 β 13 β 14 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 i = 3 i < 3 T11 T12 T13 T14 β 1 β 0 T0 T15 Robot Cirujano FASE 2: PUNCIÓN DE LA AGUJA FASE 3: ANUDADO DEL HILO FASE 4: CORTE DEL HILO β k β k+1 Tk-1 Tk 1 1 k k Ek kE Tk+1 k k E 1 1k k E 4
- 33. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Interfaz Multimodal Propuesto Comando de Voz Trayectoria Planificada MODELO DE LA INTERVENCIÓN INTERACCIÓN AUTO-GUIADA Maniobra Reconocida Estado Sk Tk Señal videoFuerzas y Pares Localización Herramienta del Robot Localización Herramienta del Cirujano Señal de Audio RECONOCIMIENTO DE VOZ PREDICCIÓN DE LOCALIZACIÓN CIRUJANO ROBOT Tk o Ek IDENTIFICACIÓN DE MANIOBRAS Localización Predicha Maniobra Más Probable PRIORIDAD DE COMANDOS INTERFAZ MULTIMODAL Conclusiones y Líneas Futuras 4
- 34. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Interfaz Multimodal: Reconocimiento de Voz SISTEMA DE RECONOCIMIENTO ALGORITMO FORWARD-BACKWARD CLASIFICACIÓN DE VECTORES PROCESADO DE DATOS EXTRACCIÓN DE CARACTERÍSTICAS MODELO DEL COMPORTAMIENTO DEL CIRUJANO Señal de Audio Coeficientes cepstrales Secuencia de Características Observables ei HMMs de los comandos {λ 1, λ 2, …} LIBRERÍA DE COMANDOS Comando de Voz Reconocida LIBRERÍA DE VECTORESCaracterística Observable ei Conclusiones y Líneas Futuras 0 0.5 1 1.5 2 2.5 -0.2 -0.1 0 0.1 0.2 Señaldeaudio Comando de voz: Siguiente 4
- 35. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Interfaz Multimodal: Predicción de la Localización de la Herramienta FUNCIONES DE ESTIMACIÓN {fr , fθ} Vθ0 Localización Herramienta del Cirujano Predicha Vr0 Localización Herramienta del Cirujano Maniobra β Más Probable CONSTRUCTOR DE VECTORES HISTÓRICOS {Vr0, Vθ0}r, θ Conclusiones y Líneas Futuras Vr0 Vr0 4
- 36. 5. Implantación y Experimentos
- 37. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelado y Reconocimiento de Maniobras SIMULADOR DE PACIENTE SISTEMA DE MODELADO Y RECONOCIMIENTO SENSOR 3D TORRE LAPAROSCÓPICA HERRAMIENTAS DEL CIRUJANO CON MARCAS PASIVAS ROBOT ERM CAPTURADORA VIDEO FUENTE LUZ FRÍA SENSOR 3D CÁMARA Conclusiones y Líneas Futuras 5
- 38. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos TRASLADAR Link video SUJETAR TEJIDO Link video CLIPAR CONDUCTO Link video DISECCIÓN Link video CORTAR CONDUCTO Link video Modelado y Reconocimiento de Maniobras SUTURA Link video Conclusiones y Líneas Futuras 5
- 39. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelado y Reconocimiento de Maniobras ENTRENAMIENTO DE MANIOBRAS: • Maniobras: 6 • Participantes: 2 • Nivel de destreza de los participantes: - 1 cirujano experto - 1 persona no experta • Repeticiones de cada maniobra: - 10 repeticiones (cirujano experto) - 20 repeticiones (persona no experta) • Topología del modelo de la maniobra (HMM): -Matriz A: combinada (izquierda-derecha con posibilidad de retroceso) - 50 estados y 2000 características observables q1 q2 q3 q4 q1 q2 q3 q4 Matriz A combinada Conclusiones y Líneas Futuras 5
- 40. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelado y Reconocimiento de Maniobras TRASLADAR SUJETAR TEJIDO CLIPAR CONDUCTO DISECCIÓNCORTAR CONDUCTO SUTURA Probabilidad Probabilidad Probabilidad Probabilidad Probabilidad Probabilidad Estados Estados Estados Estados Estados Estados Conclusiones y Líneas Futuras 5
- 41. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelado y Reconocimiento de Maniobras TRASLADAR SUJETAR TEJIDO CLIPAR CONDUCTO DISECCIÓNCORTAR CONDUCTO SUTURA Probabilidad Probabilidad Probabilidad Probabilidad Probabilidad Probabilidad Conclusiones y Líneas Futuras 5
- 42. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Modelado y Reconocimiento de Maniobras RESULTADOS Maniobra %Aciertos Trasladar 95.00 % Sujetar tejido 100.00 % Clipar 100.00 % Cortar conducto 50.00 % Diseccionar 90.00 % Suturar 100.00 % RECONOCIMIENTO DE MANIOBRAS: • Maniobras: 6 • Participantes: 2 • Nivel de destreza de los participantes: - 2 personas no expertas • 20 repeticiones de cada maniobra por cada participante. Conclusiones y Líneas Futuras Maniobra ejecutada: Cortar conducto Suturar Clipar Cortar conducto Cortar tejido Sujetar Trasladar dm Log[P(O|λ)] Suturar Clipar Cortar conducto Cortar tejido Sujetar Trasladar Maniobra ejecutada: Clipar Conducto dm Log[P(O|λ)] 5
- 43. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Asistencia a la Sutura BRAZO HERRAMIENTABRAZO CÁMARA SIMULADOR PACIENTE TORRE DE LAPAROSCOPIA SENSOR 3D HERRAMIENTA CIRUJANO CÁMARA PLATAFORMA Y ENTORNO QUIRÚRGICO LUZ FRÍA Conclusiones y Líneas Futuras 5
- 44. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Experimento 1: Módulo de Voz Comando %Aciertos Sutura 95.00 % Siguiente 100.00 % Repetir 100.00 % Parar 80.00 % Abrir 95.00 % Cerrar 90.00 % Comando %Aciertos Sutura 90.00 % Siguiente 80.00 % Repetir 85.00 % Retroceder 80.00 % Arriba 75.00 % Abajo 95.00 % Izquierda 75.00 % Derecha 80.00 % Introducir 90.00 % Extraer 55.00 % Abrir 75.00 % Cerrar 75.00 % Parar 80.00 % Participantes: 1 Repeticiones para el entrenamiento: 30 Repeticiones para la validación: 20 Topología de la matriz A: izquierdas- derechas RESULTADOS Asistencia a la Sutura 6 comandos RESULTADOS 13 comandos Conclusiones y Líneas Futuras 5
- 45. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Maniobras T medio Utmin Utmax %Aciertos β2 6.64 s 4.25 s 9.02 s 100.00 % β4 15.36 s 11.19 s 19.53 s 100.00 % β6 3.79 s 3.38 s 4.21 s 50.00 % β8,i=1 8.75 s 7.79 s 9.72 s 90.00 % β8,i=2 8.40 s 6.66 s 10.14 s 100.00 % β8,i=3 8.69 s 7.78 s 9.59 s 100.00 % β11 8.99 s 6.70 s 11.28 s 100.00 % β13 7.33 s 6.36 s 8.30 s 100.00 % Experimento 2: Módulo de Estimación de Maniobras Número de participantes: 1 Repeticiones de cada maniobra βk para el entrenamiento: 5 Repeticiones de cada maniobra βk para el reconocimiento : 10 Topología combinada Asistencia a la Sutura RESULTADOS Conclusiones y Líneas Futuras 5
- 46. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Experimento 3: Módulo de Predicción de la Localización Asistencia a la Sutura Posición del extremo de la herramienta del cirujano en β4 Número de características observables Número de características observables Log[P(O|λ)]Log[P(O|λ)] Sin predicciones Con predicciones Conclusiones y Líneas Futuras 5
- 47. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Experimento 4: Sutura con Asistente Robótico Asistencia a la Sutura Conclusiones y Líneas Futuras Fase 1: Inserción de la aguja. Log[P(O|λ)] *** Maniobra β2 *** Maniobra β4 *** Maniobra β6 *** Maniobra β8,i=1 ••• Maniobra β8,i=2 ••• Maniobra β11 ••• Maniobra β13 Número de características observables Reconocimiento de la maniobra β2 Link video 5
- 48. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Fase 2: Punción de la aguja. Experimento 4: Sutura con Asistente Robótico Asistencia a la Sutura Conclusiones y Líneas Futuras Log[P(O|λ)] *** Maniobra β2 *** Maniobra β4 *** Maniobra β6 *** Maniobra β8,i=1 ••• Maniobra β8,i=2 ••• Maniobra β11 ••• Maniobra β13 Número de características observables Reconocimiento de la maniobra β4 Link video 5
- 49. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Fase 3: Anudado del hilo. Experimento 4: Sutura con Asistente Robótico Asistencia a la Sutura Conclusiones y Líneas Futuras Link video Log[P(O|λ)] *** Maniobra β2 *** Maniobra β4 *** Maniobra β6 *** Maniobra β8,i=1 ••• Maniobra β8,i=2 ••• Maniobra β11 ••• Maniobra β13 Número de características observables Reconocimiento de la maniobra β8,1 5
- 50. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Fase 3: Anudado del hilo. Experimento 4: Sutura con Asistente Robótico Asistencia a la Sutura Número de características observables Log[P(O|λ)] *** Maniobra β2 *** Maniobra β4 *** Maniobra β6 *** Maniobra β8,i=1 ••• Maniobra β8,i=2 ••• Maniobra β11 ••• Maniobra β13 Conclusiones y Líneas Futuras Log[P(O|λ)] Número de características observables *** Maniobra β2 *** Maniobra β4 *** Maniobra β6 *** Maniobra β8,i=1 ••• Maniobra β8,i=2 ••• Maniobra β11 ••• Maniobra β13 Reconocimiento de la maniobra β8,1 Reconocimiento de la maniobra β8,2 Link video 5
- 51. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Fase 4: Corte del hilo. Experimento 4: Sutura con Asistente Robótico Asistencia a la Sutura Conclusiones y Líneas Futuras Log[P(O|λ)] *** Maniobra β2 *** Maniobra β4 *** Maniobra β6 *** Maniobra β8,i=1 ••• Maniobra β8,i=2 ••• Maniobra β11 ••• Maniobra β13 Número de características observables Reconocimiento de la maniobra β13 Log[P(O|λ)] *** Maniobra β2 *** Maniobra β4 *** Maniobra β6 *** Maniobra β8,i=1 ••• Maniobra β8,i=2 ••• Maniobra β11 ••• Maniobra β13 Número de características observables Reconocimiento de la maniobra β11 Link video 5
- 52. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos RECONOCIMIENTO DE MANIOBRAS Maniobras %Aciertos β2 83.33 % β4 100.00 % β6 50.00 % β8,i=1 100.00 % β8,i=2 100.00 % β8,i=3 100.00 % β11 83.33 % β13 100.00 % Comandos % Aciertos Sutura 60.00 % Cerrar 85.71 % Parar 60.00 % Siguiente 100.00 % RECONOCIMIENTO DE VOZ Sutura Tiempo medio Desviación típica Con robot 190.6 s 12.5 s Sin robot 115.5 s 21.5 s PROCEDIMIENTO DE SUTURA Experimento 4: Sutura con Asistente Robótico Asistencia a la Sutura Conclusiones y Líneas Futuras 5
- 53. 6. Conclusiones y Líneas Futuras
- 54. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos • Sistema para la identificación de maniobras quirúrgicas de forma aislada y en el contexto del protocolo. • Sistema para la predicción de la localización del instrumental durante sombras de pequeña duración. • Interfaz Multimodal que ofrece una “Comunicación más natural”. • Automatización del procedimiento de sutura con el objetivo de obtener la colaboración que plantea el concepto “co-worker”. Conclusiones y Líneas Futuras Conclusiones 6
- 55. Introducción Objetivos Modelado y Reconocimiento Interfaz Multimodal Implantación y Experimentos Aumentar la información que contienen las características observables que describen las interacciones del instrumental. Utilizar Dynamic Time Warping para el modelado de las maniobras quirúrgicas, además de contemplar la posibilidad de combinar HMM con otras modelos matemáticos. Añadir la tolerancia a fallos al interfaz multimodal. Predecir las maniobras en las zonas de sombras mediante el uso de técnicas de aprendizaje. Desarrollar un algoritmo de sutura más colaborativo. Adaptar el interfaz multimodal a las técnicas SILS y HALS. Conclusiones y Líneas Futuras Líneas Futuras 6
- 56. Revistas (1+1) Artículos Internacionales (4+1) Artículos Nacionales (9) B. Estebanez, P. del Saz-Orozco, I. García-Morales, V.F. Muñoz. “Interfaz multimodal para un asistente robótico quirúrgico: uso de reconocimiento de maniobras quirúrgicas”. Revista Iberoamericana de Automática e Informática Industrial (2010), Vol. 8, Núm. 2. ISSN: 1697-7912. ( En revisión ) B. Estebanez, P. del Saz-Orozco, I. García-Morales, V.F. Muñoz. “A Multimodal HMI for Surgical Robotic Assistant in Laparoscopic Surgery”. Transactions on Biomedical Engineering (2013). B. Estebanez, G. Jiménez-Ruiz, V.F. Muñoz, E. Bauzano, J. Molina-Pérez. “Minimally invasive surgery maneuver recognition based on surgeon’s model”. IEEE/RSJ International Conference on Intelligent Robots and Systems. (2009). ISBN: 978-1-4244-3804-4. B. Estebanez, P. del Saz-Orozco, V.F. Muñoz. ”Maneuvers recognition system for laparoscopic surgery”. International Workshop on Robotics in Alpe-Adria-Danube Region- RAAD (2010). B. Estebanez, E. Bauzano, V.F. Muñoz. “Surgical Tools Pose Estimation for a Multimodal HMI of a Surgical Robotic Assistant”. IEEE/RSJ International Conference on Intelligent Robots and Systems (2011). ISBN: 978- 1-61284-454-1. B. Estebanez, P. del Saz-Orozco, I. Rivas, E. Bauzano, V.F. Muñoz, I. García-Morales. “Maneuvers recognition in laparoscopic surgery: Artificial Neural Network and Hidden Markov model approaches”. International Conference on Biomedical Robotics and Biomechatronics, BioRob 2012. ISBN: 978-1-4577- 1199-2. ( En revisión ) E. Bauzano, B. Estebanez, I. Garcia-Morales and V.F. Muñoz-Martinez. “Robot Collaborative Assistance for Suture Procedures via Minimally Invasive Surgery”. IEEE/RSJ International Conference on Intelligent Robots and Systems (2013). Aportaciones
- 57. DISEÑO E IMPLANTACIÓN DE UN SISTEMA MULTIMODAL PARA UN ASISTENTE QUIRÚRGICO DEFENSA DE TESIS DOCTORAL María Belén Estebanez Campos Director: D. Víctor F. Muñoz Martínez Codirectora: Dña. Isabel García Morales DEPARTAMENTO DE INGENIERÍA DE SISTEMAS Y AUTOMÁTICA UNIVERSIDAD DE MÁLAGA Mayo 2013