Este documento describe el desarrollo de una plataforma llamada SingTxt para traducir lenguaje de señas a texto. La plataforma usa detección de piel, segmentación de manos, reconocimiento de patrones con SVM y compresión con wavelets para clasificar las señas capturadas por video y mostrar el texto correspondiente. Las pruebas mostraron que la plataforma puede reconocer señas en menos de medio segundo, lo que la hace útil para aplicaciones móviles de comunicación entre sordos y oyentes.

1. DESARROLLO DE PLATAFORMA SINGTXT V1.0 PARA LA TRADUCCIÓN DE LENGUAJE DE SEÑAS A TEXTO JHON FREDY GONZALEZ MUÑOZ INGENIERÍA ELECTRÓNICA

6. Marco Teorico SVM ( Maquinas de Soporte vectorial) (1) (2) (3) Ancho del vector Variable de desplazamiento. N indica el numero de dimensiones de la función de activación. (4) (5) La variable de holgura esta denotada por Los Hiperparametros de control estan dados por Equidistantes

7. Kernel

8. Transformada Wavelet El análisis de imágenes mediante Transformada Wavelet (TW) descompone la imagen en versiones trasladadas (en tiempo) y escaladas de la Wavelet original, la que es más conocida como Wavelet Madre. La aplicación principal en la cual se ha utilizado el Análisis Wavelet corresponde a la compresión de imágenes, donde apoyado del teorema de disminución de muestras (downsampling), reduce la tasa de muestreo en la imagen, generando así una disminución notable de resolución. Siendo a y b los parámetros de escala y translación y s(t) la señal original (1) (2)

9. METODOLOGIA Captura de Video Detección de Piel Pre-Procesamiento Segmentación Extracción Patrones Clasificación y Visualización

10. Captura de Video Qt Creator OpenCv Matlab

13. Filtros por area Filtrado por Área Extracción de Región Etiquetado Regiones

14. Filtro Morfologicos Imagen Original Filtro de Erosión Filtro de Dilatación

17. Extraccion de Caracteristicas - Ubicacion de Contorno - Extraccion angulo de la mano - Deteccion de Yema de Dedos - Estabilizacion de Video

19. Clasificacion mediante SVM y Visualizacion

20. Resultados

21. Pruebas

24. Costos El costo de este trabajo recata esencialmente en la provisión de los siguientes elementos y servicios: El desarrollo de la plataforma no solo demandó gran dedicación en tiempo, sino que a futuro representa una importante alternativa para su implementación en sector biomédico; incrementando de esta forma el nivel investigativo de la Universidad De Pamplona contando con un fuerte impacto social enfocado a mejorar la calidad de vida de las personas discapacitadas. También es importante señalar que el desarrollo de esta plataforma puede ser llevada como una aplicación para celulares de gama alta y así crear una herramienta portátil. ITEM DESCRIPCION COSTO 1 Computador Portátil con cámara integrada $ 1.350.000 2 Papelería y otros $ 150.000