Este documento presenta el proyecto final de carrera de Albert Vicente sobre el diseño e implementación de una aplicación móvil para la detección e identificación de patrones de color perceptual para personas con problemas de visión. La aplicación se desarrolló para Android e incluye modos para detectar patrones de color en diferentes áreas de una imagen, almacenar patrones en una base de datos, e identificar patrones almacenados. Los resultados muestran que la aplicación puede detectar con éxito patrones de color de forma perceptual bajo diferentes condiciones, aunque tiene limitaciones

1. Proyecto Final de Carrera
Ingeniería Informática
Diseño e implementación de una
aplicación móvil para la detección e
identificación de patrones de color
perceptual orientada a personas con
problemas de visión
Autor: Albert Vicente
Tutor: Felipe Calderero

2. Índice
1. Motivaciones y requisitos
2. Plataformas y aplicaciones móviles
3. Desarrollo de la aplicación
4. Módulos de procesado de imagen
5. Resultados
6. Conclusiones
2/50

3. Índice
1. Motivaciones y requisitos
2. Plataformas y aplicaciones móviles
3. Desarrollo de la aplicación
4. Módulos de procesado de imagen
5. Resultados
6. Conclusiones
3/50

4. Motivaciones
• Elevado número de personas con problemas de visión
• Gap tecnológico pese a una gran evolución
• Aplicación móvil que mejore su calidad de vida
• ¿Por qué una aplicación móvil?
– Mayor accesibilidad/penetración
– Menor coste
• Pero…
– Dispositivos y recursos limitados
– Dependencias externas
4/50

5. Objetivo principal
• Diseñar e implementar una aplicación móvil capaz de
detectar e identificación patrones de color perceptual
para personas con problemas visuales
1. Estudio previo de las plataformas móviles
2. Desarrollar un prototipo
3. Evaluación de los resultados
4. Publicación en el mercado
5/50

6. Requisitos y Funcionalidades
• Requisitos
– Navegabilidad simple
– Independencia de las condiciones del entorno
– Color perceptual
– Real-Time
– Independencia del dispositivo
• Funcionalidades
– Detección de patrones multicolor
– Detección por área
– Registro de patrones multicolor
– Identificador de patrones
6/50

7. Índice
1. Motivaciones y requisitos
2. Plataformas y aplicaciones móviles
3. Desarrollo de la aplicación
4. Módulos de procesado de imagen
5. Resultados
6. Conclusiones
7/50

8. Plataformas móviles
• Estudio de las plataformas iOS y Android
– Crecimiento
– Accesibilidad
– Tiempo de aprendizaje
– Coste
– Filosofía
8/50

9. Plataformas móviles
• Elección: Android
– Mayor expectativa de crecimiento
– Mayor accesibilidad
– Menor tiempo de aprendizaje
– Menor gasto de desarrollo y comercialización
– Open-Source
9/50

10. Aplicaciones semejantes
• ColorRecognizer
– Detección multicolor
– Sólo dispositivos Symbian
– Dentro suite (coste 90€)
• LookTel
– Patrones de contorno
– Orientado a marcas
– Base de datos personalizada
10/50

11. Contribución de la aplicación
propuesta
• Respecto a ColorRecognizer
– También detección multicolor + otros modos (area, finger…)
– Cualquier dispositivo
– Aplicación independiente (precio: ?)
– Color perceptual / Patrones de color / Invariante al entorno
• Respecto a LookTel
– Misma filosofía (extracción de patrones) pero sólo color
– También permite la identificación de objetos
– También base de datos personalizada
11/50

12. Índice
1. Motivaciones y requisitos
2. Plataformas y aplicaciones móviles
3. Desarrollo de la aplicación
4. Módulos de procesado de imagen
5. Resultados
6. Conclusiones
12/50

13. Desarrollo de la aplicación
• Diseño basado en aplicaciones destinadas a usuarios
con discapacidades visuales
13/50

14. Requisitos y Acciones
Requisitos Acciones
Navegabilidad simple Navegación simple con tres únicas pantallas: Controller, Cámara y Recorder
Transacciones acompañadas por feedback auditivo
Independencia de las condiciones Corrección de color
del entorno / Color perceptual Espacio de color adecuado
Tiempo real Equilibrio entre el procesado de imagen y la velocidad de obtención de los
resultados
Independencia del dispositivo Integrar los procesos de cámara y grabación de voz
No modificar el estado interno del dispositivo
14/50

15. Funcionalidades y Acciones
Requisitos Acciones
Detección de patrones multicolor Modo ALL_IMAGE
Reproducción del nombre de los colores resultantes
Detección por área Modo CENTER_FOCUS y FINGER_FOCUS
Reproducción del nombre de los colores resultantes
Registro de patrones multicolor Modo SAVE_IMAGE
Base de datos con los patrones de cada imagen.
Grabar y asociar una grabación de voz a patrones de color
Identificador de patrones Modo SEARCH
Comparación con los patrones almacenados
Obtención del patrón más parecido a la captura
Reproducción del fichero asociado al patrón
15/50

16. Modo ALL_IMAGE
• Objetivo: Detectar todos los colores de una imagen
• Orientado a: Personas completamente ciegas
16/50

17. Modo CENTER_FOCUS
• Objetivo: Detectar de colores de una parte de la imagen
• Orientado a: Personas daltónicas
17/50

18. Modo FINGER_FOCUS
• Objetivo: Detectar parte de los colores de una imagen
• Orientado a: Personas completamente ciegas y
daltónicas
18/50

19. Modo SAVE
• Objetivo: Almacenar patrones de color de un objeto
• Orientado a: Personas completamente ciegas
19/50

20. Modo SEARCH
• Objetivo: Identificar objetos
• Orientado a: Personas completamente ciegas
20/50

21. Índice
1. Motivaciones y requisitos
2. Plataformas y aplicaciones móviles
3. Desarrollo de la aplicación
4. Módulos de procesado de imagen
5. Resultados
6. Conclusiones
21/50

22. Procesado de imagen
• Los dos módulos principales de la aplicación
1. Extracción o detección de patrones de color perceptual
2. Comparación de patrones de color
22/50

23. Obtención del color
perceptual
1. Corrección de color
2. Cambio de espacio de color
3. Histograma de color regularizado espacialmente
4. Filtrado y detección de máximos significativos
5. Construcción del patrón de color
23/50

24. Corrección de color con
Von Kries
• Objetivo
– Obtener color perceptual (independencia de la iluminación)
– Equilibrio entre complejidad y recursos
Imagen original
Corrección con Von Kries 24/50
(sin ninguna corrección)

25. Espacios de color: HSV
• Elección: HSV
– Similar al sistema visual humano
– Complejidad de conversión baja
– Información de color más relevante en un solo canal (Hue)
• Limitación
– Detección de grises
25/50

26. Histograma de color regularizado
especialmente
• Uso de histogramas de color
– Ventajas: Sencillo e invariante a rotaciones
– Desventajas: Pérdida de información espacial
• Recortado
– Extracción de background irrelevante
• Regularización espacial
– La aportación de cada píxel depende
de la distancia al centro de la imagen
Recortado + Regularización
espacial
26/50

27. Filtrado
• Encontrar un método de detección de máximos
fiable y robusto
27/50

28. Suavizado y máximos significativos
• Promediado del histograma
• Heurística para discriminar máximos
28/50

29. Discriminación por áreas
• Calculo del área relativa al pico
• Robustez a gradientes de iluminación
29/50

30. Construcción del patrón
de color
• División de los colores en el espacio
• Espacio dividido no linealmente
Verde Azul Rosa
30/50

31. Comparacion de patrones
de color
• Coeficiente Bhattacharyya
31/50

32. Coeficiente Bhattacharyya
• Medida de intersección entre dos histogramas
– Interpretación geométrica clara
– Invariante a rotaciones y escalados
32/50

33. Índice
1. Motivaciones y requisitos
2. Plataformas y aplicaciones móviles
3. Desarrollo de la aplicación
4. Módulos de procesado de imagen
5. Resultados
6. Conclusiones
33/50

34. Evaluación de los resultados
• Prueba de concepto
– Previa a una evaluación con usuarios
– Numerosas pruebas con diferentes objetos
• Estudio de limitaciones
34/50

35. Modo ALL_IMAGE
• Patrones multicolor de una imagen
35/50

36. Modo ALL_IMAGE
• Corrección de color (Von Kries)
36/50

37. Modo ALL_IMAGE
• Regularización espacial
37/50

38. Modo CENTER_FOCUS
• Patrones multicolor de una parte de la imagen
38/50

39. Modo FINGER_FOCUS
• Patrones multicolor de una parte de la imagen
39/50

40. Modo SAVE_IMAGE
• Registro de patrones multicolor en la base de datos
40/50

41. Modo SEARCH
• Comparación de patrones multicolor
41/50

42. Comparativa con aplicaciones
parecidas
• Condiciones de media/baja iluminación
42/50

43. Comparativa con aplicaciones
parecidas
• Detección multicolor
43/50

44. Coste temporal
• Rendimiento temporal de la aplicación en el escenario
• Dispositivo: Samung Galaxy R
• Imágenes: 600x400 pixeles
ID ALL_IMAGE CENTER_FOCUS FINGER_FOCUS SAVE_IMAGE SEARCH
1 2.12 sec 0.83 sec 0.87 sec 1.23sec 1.38sec
2 2.34 sec 0.73 sec 0.83 sec 1.40sec 1.45sec
3 2.04 sec 0.90 sec 0.96 sec 1.18sec 1.30sec
4 2.03 sec 0.94 sec 0.93 sec 1.23sec 1.38sec
5 2.40 sec 0.86 sec 0.87 sec 1.31sec 1.32sec
Media 2.18 sec 0.85 sec 0.89 sec 1.27 sec 1.37sec
44/50

45. Limitaciones
• Problemas en la identificación de dos objetos con
patrones de color muy parecidos
45/50

46. Casos de uso
• Escenarios habituales
46/50

47. Índice
1. Motivaciones y requisitos
2. Plataformas y aplicaciones móviles
3. Desarrollo de la aplicación
4. Módulos de procesado de imagen
5. Resultados
6. Conclusiones
47/50

48. Conclusiones
• Resultados obtenidos
– Porcentaje elevado de éxito en las distintas pruebas
– Detección color perceptual (relativamente robusto a
cambios de iluminación)
– Relativamente invariante a escalado y rotaciones
• Limitaciones
– Gama de colores
– Parámetros ajustables
– No discrimina patrones de color parecidos
48/50

49. Trabajo Futuro
• Pruebas de usuario con personas ciegas y daltónicas
• Comprobación con otros dispositivos Android
• Publicación en el mercado Google Play
• Nuevas vías de investigación
– Parámetros ajustables
– Patrones de color + Patrones de contorno
49/50

50. Fin
• Más videos en el DVD del proyecto
• Muchas gracias por su atención
• Preguntas
50/50