Este documento discute o desenvolvimento de sistemas de reconhecimento de fala sensíveis ao contexto. Primeiro, descreve como o contexto do usuário e da aplicação podem afetar o reconhecimento de fala. Em seguida, propõe um modelo de processo para desenvolver sistemas de reconhecimento de fala adaptativos que consideram informações contextuais. Finalmente, relata experimentos com um sistema de reconhecimento de fala para controle de robôs móveis que se adapta ao contexto da tarefa.

1. Influência do Contexto no
Reconhecimento de fala
Gabriel Ferreira Araujo
Orientador: Prof. Dr. Hendrik T. Macedo
Programa de pós-graduação em ciência da computação
Departamento de Computação
Universidade Federal de Sergipe
São Cristovão, Brazil

2. Reconhecimento
Automático de Fala
Variabilidade devido…
- Tamanho do vocabulário
- Ambiguidade
- Condições adversas
- Restrições de linguagem e tarefa
- etc

5. Reconhecimento de fala
automático sensível ao
contexto
● Sensível ao contexto do
usuário e da aplicação
● Se adapta com mudanças
de contexto

6. Comoconstruir uma aplicação ASR?
Quais os passosa seguir?
Antes...

7. A maioria das aplicações
ASR são desenvolvidas de
forma Ad hoc

8. Modelo de processo
de desenvolvimento para
sistemas ASR

9. Eclipse Process Framework
● Engenharia de processos de software
● Suporta o desenvolvimento iterativo, ágil, e
incremental
○ OpenUP/Basic
● Baseado na especificação SPEM 1.1
○ Software Process Engineering Meta-Model
● Extensivo conjunto de ferramentas e conceitos

10. Open Unified Process

11. Processo de desenvolvimento
para sistemas ASR
● Outline
● Modeling
● Integration

12. Outline
Activity

13. Modeling
Activity

14. Build a text corpus

15. Build a speech corpus

16. Build a phonetic dictionary

17. Model the
language
Model the
Acoustic

18. Model the language/acoustic

19. Model the
context

20. Model the
semantics

21. Integration
Activity

22. Reconhecimento de fala
automático sensível ao
contexto
● Sensível ao contexto do
usuário e da aplicação
● Se adapta com mudanças
de contexto

23. Mas o que significa
contexto?
O que é informação contextual?

24. Um conceito mal definido. Vago.
Mais de 150 definições.
Inteligência Artificial
Documentação Ergonomia cognitiva
Psicologia cognitiva
Administração
Linguística
Filosofia

25. “Contexto é qualquer informação
que pode ser usada para
caracterizar a situação de
uma entidade.”
— Anind K. Dey, 2001

26. Categorias de informações contextuais
— Zimmermann, Lorenz and Oppermann, 2007

27. Mas como lidamos com
tais informações?
Como podemos fazer uso disso
em nossa aplicação ASR?

28. Arquitetura do Toolkit de Contexto
— Dey, Abowd and Salber, 2001

29. Sistema ASR Adaptativo
Adaptação de modelo linguístico
estatístico

30. Arquitetura clássica ASR

31. ASR sensível ao contexto

32. Controle de navegação de
robôs móveis
- Interação em tempo real
- Interface baseada em fala
- Vocabulário restrito
- Comandos pré-defindos
comando = <ação> [precisão] [referência]

33. Controle de navegação de
robôs móveis

34. Adaptação do modelo linguístico
guiada pelo contexto

35. Experimentos e Resultados
- Modelo linguístico 3-gram
- 4 modelos linguísticos diferentes
- 2 pesos de modelo diferentes
- Informação contextual: presença e visibilidade
- Lista de sinônimos
- Word error rate (WER)
- Word information lost (WIL)

36. Experimentos e Resultados
WER WIL

37. Conclusões
- Redução global nas taxas de erro
- Redução de até 3,3% na taxa WIL
- Maior nível de abstração
- Thesaurus
- Gramática probabilística

38. ● SBIA - Qualis B2
○ “Context-sensitive ASR for controlling the
navigation of mobile robots”
● Journal of Computer Science - Qualis B3
○ “Parallel Implementation of Expectation-
Maximization Algorithm for the Training of
Gaussian Mixture Models”
● EATIS - Qualis B4
○ “Context formalization and its use on dynamic
adaptation of language model in ASR systems”
Publicações

39. Obrigado!
Perguntas?
Contato:
gabrielfa@dcomp.ufs.br and hendrik@ufs.br