1. Introducción - Objetivos y alcance
Arquitectura del sistema
Fases del reconocimiento del habla
Objetivos del proyecto
Planificación
Módulos del sistema
Conclusiones
Utilización de trifonemas como modelo acústico
para el reconocimiento del habla
Proyecto informático
Daniel Garrido Garrochena
Escuela Técnica Superior de Ingeniería Informática
Junio 2009
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

2. Introducción - Objetivos y alcance
Arquitectura del sistema
Fases del reconocimiento del habla
Objetivos del proyecto
Planificación
Módulos del sistema
Conclusiones
Sumario
Introducción - Objetivos y alcance.
Arquitectura del sistema.
Fases del reconocimiento del habla.
Objetivos del proyecto.
Planificación.
Módulos del sistema.
Conclusiones.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

3. Introducción - Objetivos y alcance
Arquitectura del sistema
Fases del reconocimiento del habla
Objetivos del proyecto
Planificación
Módulos del sistema
Conclusiones
Introducción - Objetivos y alcance
Desarrollo de un sistema reconocedor de voz (a nivel local).
Entrenamiento del sistema con trifonemas.
Ampliación del sistema, agregando la posibilidad de reconocer
a través del protocolo TCP/IP.
Permitir que múltiples usuarios puedan emplear el mismo
sistema reconocedor, con las consiguientes ventajas que ello
conlleva.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

4. Introducción - Objetivos y alcance
Arquitectura del sistema
Fases del reconocimiento del habla
Sistema reconocedor de voz
Objetivos del proyecto Reconocimiento de voz sobre TCP/IP
Planificación
Módulos del sistema
Conclusiones
Sistema reconocedor de voz
Reconocimiento de voz: proceso de convertir señales acústicas
capturadas por, por ejemplo un micrófono, en texto.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

5. Introducción - Objetivos y alcance
Arquitectura del sistema
Fases del reconocimiento del habla
Sistema reconocedor de voz
Objetivos del proyecto Reconocimiento de voz sobre TCP/IP
Planificación
Módulos del sistema
Conclusiones
Reconocimiento de voz sobre TCP/IP
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

6. Introducción - Objetivos y alcance
Arquitectura del sistema Adquisición
Fases del reconocimiento del habla Extracción de características
Objetivos del proyecto Reconocimiento / clasificación probabilística
Planificación Reconocimiento mediante fonemas
Módulos del sistema Reconocimiento mediante trifonemas
Conclusiones
Adquisición
Sistema desde el cual se adquieren los datos de entrada al
sistema reconocedor, la señal de voz.
Por lo general, estos datos son adquiridos desde un micrófono.
En este sistema serán adquiridos a través de sockets. La
fuente de generación podría ser un micrófono en otro equipo,
un fichero de audio, . . .
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

7. Introducción - Objetivos y alcance
Arquitectura del sistema Adquisición
Fases del reconocimiento del habla Extracción de características
Objetivos del proyecto Reconocimiento / clasificación probabilística
Planificación Reconocimiento mediante fonemas
Módulos del sistema Reconocimiento mediante trifonemas
Conclusiones
Extracción de características
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

8. Introducción - Objetivos y alcance
Arquitectura del sistema Adquisición
Fases del reconocimiento del habla Extracción de características
Objetivos del proyecto Reconocimiento / clasificación probabilística
Planificación Reconocimiento mediante fonemas
Módulos del sistema Reconocimiento mediante trifonemas
Conclusiones
Reconocimiento / clasificación probabilística
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

9. Introducción - Objetivos y alcance
Arquitectura del sistema Adquisición
Fases del reconocimiento del habla Extracción de características
Objetivos del proyecto Reconocimiento / clasificación probabilística
Planificación Reconocimiento mediante fonemas
Módulos del sistema Reconocimiento mediante trifonemas
Conclusiones
Reconocimiento mediante fonemas
Sonidos distinguibles.
34 para el español.
Representan secuencias de senones. Modelado con cadenas
ocultas de Markov.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

10. Introducción - Objetivos y alcance
Arquitectura del sistema Adquisición
Fases del reconocimiento del habla Extracción de características
Objetivos del proyecto Reconocimiento / clasificación probabilística
Planificación Reconocimiento mediante fonemas
Módulos del sistema Reconocimiento mediante trifonemas
Conclusiones
Reconocimiento mediante trifonemas
343 = 39304 trifonemas para el español.
En la práctica, alrededor de 5000.
Es capaz de diferenciar los sonidos según su contexto.
Muy práctico para reconocimiento continuo del habla.
Aumento de la tasa de aciertos.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

11. Introducción - Objetivos y alcance
Arquitectura del sistema Adquisición
Fases del reconocimiento del habla Extracción de características
Objetivos del proyecto Reconocimiento / clasificación probabilística
Planificación Reconocimiento mediante fonemas
Módulos del sistema Reconocimiento mediante trifonemas
Conclusiones
Reconocimiento mediante trifonemas
¿Cómo se modelan el resto de trifonemas?
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

12. Introducción - Objetivos y alcance
Arquitectura del sistema Adquisición
Fases del reconocimiento del habla Extracción de características
Objetivos del proyecto Reconocimiento / clasificación probabilística
Planificación Reconocimiento mediante fonemas
Módulos del sistema Reconocimiento mediante trifonemas
Conclusiones
Reconocimiento mediante trifonemas
¿Cómo se modelan el resto de trifonemas?
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

13. Introducción - Objetivos y alcance
Arquitectura del sistema
Fases del reconocimiento del habla
Objetivos del proyecto
Planificación
Módulos del sistema
Conclusiones
Objetivos del proyecto
Construir un sistema reconocedor de voz.
Entrenamiento.
Reconocimiento.
Tecnologías inexploradas y en auge.
Objetivos de carácter:
Técnicos.
Personales.
Metodológicos.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

14. Introducción - Objetivos y alcance
Arquitectura del sistema
Fases del reconocimiento del habla
Objetivos del proyecto
Planificación
Módulos del sistema
Conclusiones
Planificación
Concepto Estimado Real RE
Búsqueda de 8 días 6 días -33.33 %
documentación
Planificación 8 días 9 días 11.11 %
Adquirir conocimientos 40 días 43 días 6.97 %
sobre sistemas
reconocedores del habla
Elicitación de requisitos 10 días 11 días 9.09 %
Análisis 20 días 19 días -5.26 %
Diseño 30 días 28 días -7.14 %
Implementación 60 días 64 días 6.25 %
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

15. Introducción - Objetivos y alcance
Arquitectura del sistema
Fases del reconocimiento del habla
Objetivos del proyecto
Planificación
Módulos del sistema
Conclusiones
Planificación
Concepto Estimado Real RE
Documentación 18 días 22 días 18.18 %
Presentación 2 días 2 días 0%
TOTAL 196 días 204 días 0.65 %
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

16. Introducción - Objetivos y alcance Adquisición de datos
Arquitectura del sistema Extracción de características
Fases del reconocimiento del habla Modelos ocultos de Markov
Entrenamiento
Objetivos del proyecto Reconocimiento
Planificación Gestor de bases de datos orales
Módulos del sistema Gestión de la configuración y log
Conclusiones Comunicaciones
Módulos del sistema
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

17. Introducción - Objetivos y alcance Adquisición de datos
Arquitectura del sistema Extracción de características
Fases del reconocimiento del habla Modelos ocultos de Markov
Entrenamiento
Objetivos del proyecto Reconocimiento
Planificación Gestor de bases de datos orales
Módulos del sistema Gestión de la configuración y log
Conclusiones Comunicaciones
Adquisición de datos
Adaptable a diferentes formas/dispositivos de adquisición.
Observador y fábrica simple.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

18. Introducción - Objetivos y alcance Adquisición de datos
Arquitectura del sistema Extracción de características
Fases del reconocimiento del habla Modelos ocultos de Markov
Entrenamiento
Objetivos del proyecto Reconocimiento
Planificación Gestor de bases de datos orales
Módulos del sistema Gestión de la configuración y log
Conclusiones Comunicaciones
Extracción de características
Patrones de diseño observador y decorador.
Encargado de:
Preénfasis.
Hamming.
MFCC.
...
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

19. Introducción - Objetivos y alcance Adquisición de datos
Arquitectura del sistema Extracción de características
Fases del reconocimiento del habla Modelos ocultos de Markov
Entrenamiento
Objetivos del proyecto Reconocimiento
Planificación Gestor de bases de datos orales
Módulos del sistema Gestión de la configuración y log
Conclusiones Comunicaciones
Extracción de características
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

20. Introducción - Objetivos y alcance Adquisición de datos
Arquitectura del sistema Extracción de características
Fases del reconocimiento del habla Modelos ocultos de Markov
Entrenamiento
Objetivos del proyecto Reconocimiento
Planificación Gestor de bases de datos orales
Módulos del sistema Gestión de la configuración y log
Conclusiones Comunicaciones
Modelos ocultos de Markov
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

21. Introducción - Objetivos y alcance Adquisición de datos
Arquitectura del sistema Extracción de características
Fases del reconocimiento del habla Modelos ocultos de Markov
Entrenamiento
Objetivos del proyecto Reconocimiento
Planificación Gestor de bases de datos orales
Módulos del sistema Gestión de la configuración y log
Conclusiones Comunicaciones
Entrenamiento
Algoritmo Baum-Welch.
Cálculos de avance-retroceso.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

22. Introducción - Objetivos y alcance Adquisición de datos
Arquitectura del sistema Extracción de características
Fases del reconocimiento del habla Modelos ocultos de Markov
Entrenamiento
Objetivos del proyecto Reconocimiento
Planificación Gestor de bases de datos orales
Módulos del sistema Gestión de la configuración y log
Conclusiones Comunicaciones
Reconocimiento
Algoritmo de Viterbi.
Estructura estática: palabras.
Estructura dinámica: proceso del algoritmo.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

23. Introducción - Objetivos y alcance Adquisición de datos
Arquitectura del sistema Extracción de características
Fases del reconocimiento del habla Modelos ocultos de Markov
Entrenamiento
Objetivos del proyecto Reconocimiento
Planificación Gestor de bases de datos orales
Módulos del sistema Gestión de la configuración y log
Conclusiones Comunicaciones
Gestor de bases de datos orales
Albayzin.
Posibilidad de gestionar otras bases de datos orales.
Fábrica abstracta.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

24. Introducción - Objetivos y alcance Adquisición de datos
Arquitectura del sistema Extracción de características
Fases del reconocimiento del habla Modelos ocultos de Markov
Entrenamiento
Objetivos del proyecto Reconocimiento
Planificación Gestor de bases de datos orales
Módulos del sistema Gestión de la configuración y log
Conclusiones Comunicaciones
Gestión de la configuración y log
Acceso a los parámetros de configuración.
Registro de errores, avisos, . . .
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

25. Introducción - Objetivos y alcance Adquisición de datos
Arquitectura del sistema Extracción de características
Fases del reconocimiento del habla Modelos ocultos de Markov
Entrenamiento
Objetivos del proyecto Reconocimiento
Planificación Gestor de bases de datos orales
Módulos del sistema Gestión de la configuración y log
Conclusiones Comunicaciones
Comunicaciones
Realizan las comunicaciones cliente-servidor/servidor-cliente.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

26. Introducción - Objetivos y alcance
Arquitectura del sistema
Fases del reconocimiento del habla
Posibles mejoras
Objetivos del proyecto ¡Gracias!
Planificación
Módulos del sistema
Conclusiones
Conclusiones
Campo de conocimiento muy amplio y numerosas variantes.
Redes neuronales.
Otro modelo acústico.
Motivación personal satisfecha: adquisición de nuevos
conocimientos.
Objetivos técnicos y metodológicos cumplidos en mayor o
menor medida.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

27. Introducción - Objetivos y alcance
Arquitectura del sistema
Fases del reconocimiento del habla
Posibles mejoras
Objetivos del proyecto ¡Gracias!
Planificación
Módulos del sistema
Conclusiones
Posibles mejoras
Implementación para otras plataformas.
Inmunidad al ruido de ambiente.
Prosodia: expresar emociones.
Questions revisadas por especialistas.
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla

28. Introducción - Objetivos y alcance
Arquitectura del sistema
Fases del reconocimiento del habla
Posibles mejoras
Objetivos del proyecto ¡Gracias!
Planificación
Módulos del sistema
Conclusiones
¡Gracias!
Daniel Garrido Garrochena Utilización de trifonemas en el reconocimiento del habla