IntegraTV-4all 2005 - DRT4all

1. Luigi Ceccaroni, Albert Febrer, Josefa Z. Hernández,
Elisa Martínez, Paloma Martínez, Javier Verdaguer
11 de noviembre de 2005
IntegraTV-4all:
Inteligencia Artificial para una televisión interactiva accesible

2. Luigi Ceccaroni
• Proyecto de I+D+i
• Módulo de televisión interactiva para
personas con deficiencias visuales,
hipoacusia, limitaciones de habla y personas
mayores
• Opción de funcionamiento por voz
• Mejora de los niveles de accesibilidad y
usabilidad del sistema
IntegraTV-4all. Televisión interactiva para todos
Servicios adaptados de ocio, información y tele-trabajo a través de la TV,
con funcionalidades avanzadas de visión y habla asistida,
para personas con discapacidades sensoriales
El Ministerio de Industria, Turismo y Comercio
apoya el proyecto con una ayuda “Consorcios PROFIT”:
Subvención de: 39.449 € (2004) + 431.232 € (2005)
Crédito reembolsable: 78.899 € (2004) + 439.697 € (2005)

3. Luigi Ceccaroni
• Facilitar la autonomía personal e integración de personas con:
– deficiencias visuales
– hipoacusia
– limitaciones de habla
– personas de avanzada edad
OBJETIVOS DEL PROYECTO
• Ofrecer a estas personas y a través de la TV:
1. Interfaces y controladores accesibles y usables
2. Contenidos interactivos adaptados
3. Servicios de asistencia y ayuda

4. Luigi Ceccaroni
CONSORCIO
• Formación de un consorcio entre:
– Empresa desarrolladora del servicio
• TMTFactory
– Centros Públicos de Investigación
• Universitat Ramon Llull
• Universidad Politécnica de Madrid
• Universidad Carlos III de Madrid
– Empresa usuaria final del proyecto de I+D+i
• Cadena de hoteles Confortel (ONCE)
- Entidad consultora
• Fundación ONCE · Fundosa Teleservicios
III
UNIVERSIDADCARLOSIIIDEMADRID

5. Luigi Ceccaroni
- ATLAS: Applied Technologies on Language and
Speech, S.L.
• Reconocimiento de voz
- URL: Universitat Ramón Llull · La Salle
• Síntesis de voz con locutor virtual
- UPM: Universidad Politécnica de Madrid
- Carlos III: Universidad Carlos III de Madrid
• Comprensión del lenguaje
• Generación del lenguaje
III
UNIVERSIDADCARLOSIIIDEMADRID
COLABORACIÓN
UNIVERSITARIA Y
EMPRESARIAL
• Convenios de transferencia de tecnología:

6. Luigi Ceccaroni
FASES DEL PROYECTO
• Fase 1
– Estudio de diseño de la interfaz gráfica
– Investigación sobre contenidos accesibles para personas
con discapacidad visual o auditiva
• Análisis de películas y juegos
• Fase 2
– Implementación de un servicio básico de televisión
interactiva: navegación por los menús usando la voz
• Portal de voz con una arquitectura basada en una
adaptación de un módulo intérprete de Verbio (de la
empresa ATLAS)
• Fase 3
– Implementación de los dos componentes fundamentales del
servicio avanzado
• Sistema de diálogo con lenguaje natural libre (incorporación
de técnicas avanzadas de interacción hombre-máquina)
– Servicio de despertador
• Locutor virtual

7. Luigi Ceccaroni
MODELO FUNCIONAL
ARQUITECTURA DEL SISTEMA
VoD EN DESCARGA PULL (EN P2P) O PUSH (POR SATÉLITE)

8. IntegraTV-4all · Ámbitos del proyecto
1- Contenidos interactivos adaptados. (p.e., películas comentadas o guía para ciegos)
2- Servicios de asistencia: (p.e., avisos visuales para sordos)
3- Interfaces usables y controladores accesibles. (p.e., presentador virtual interactivo por voz)
Configuración para diferentes discapacidades sensoriales Menú de servicios y contenidos adaptados para ciegos (ASR + TTS)
Avisos para usuarios sordos o con hipoacusia Presentador virtual para personas mayores (3D + ASR + TTS)

9. Luigi Ceccaroni
ÁMBITOS DEL PROYECTO
1- Accesibilidad invidentes o con discapacidades visuales
- Contenidos adaptados (p.e. VoD de películas comentadas para invidentes)
- Posibilidad de usar comunicación por voz en lenguaje natural
ver demo >>

10. Luigi Ceccaroni
ÁMBITOS DEL PROYECTO
2- Accesibilidad para usuarios sordos o con hipoacusia
- Servicios adaptados para para sordos. Integración en hogar digital
- Funcionamiento a través de mando a distancia y teclado inalámbrico
ver demo >>

11. Luigi Ceccaroni
ÁMBITOS DEL PROYECTO
3- Accesibilidad para usuarios de avanzada edad
ver demo >>
- Servicios y contenidos adaptados (p.e., teleasistencia, comunicaciones)
- Funcionalidad a través de interfaz 3D con presentador virtual (opcionalmente por voz)

12. Luigi Ceccaroni
- Ejemplo de funcionalidad de servicio despertador para usuarios invidentes o de avanzada edad.
- Comunicación por voz a través de lenguaje natural utilizando técnicas de inteligencia artificial
ACCESIBILIDAD EN SERVICIO
DESPERTADOR
Ejemplo de funcionamiento por voz en lenguaje natural
Bien. A las siete
de la mañana.
¿Qué más
puedo
hacer por ti?
Buenas. Son las
siete.
¿Qué puedo hacer
por ti?
Buenas. Son las
siete.
¿Qué puedo hacer
por ti?
De acuerdo; te doy
10 minutos más y te
despertaré de nuevo
a las siete y diez.

13. Luigi Ceccaroni
INTELIGENCIA ARTIFICIAL (1)
RECONOCIMIENTO DE VOZ

14. Luigi Ceccaroni
INTELIGENCIA ARTIFICIAL (2)
COMPRENSIÓN DEL LENGUAJE

15. Luigi Ceccaroni
INTELIGENCIA ARTIFICIAL (3)
GENERACIÓN DEL LENGUAJE Y
SÍNTESIS DE VOZ

16. Luigi Ceccaroni
DATOS DE CONTACTO, ENLACES
Luigi Ceccaroni
Director de Investigación de TMT Factory
luigi@tmtfactory.com
Albert Febrer
Applied Technologies on Language and Speech
Josefa Z. Hernández
Universidad Politécnica de Madrid
Elisa Martínez
Enginyeria La Salle (URL)
Paloma Martínez
Universidad Carlos III de Madrid
Xavier Verdaguer
Director General de TMT Factory
xavier@tmtfactory.com
www.tmtfactory.com