Este documento presenta una contribución a la caracterización del descriptor visual de color del estándar MPEG-7. Explica brevemente los objetivos generales y específicos del proyecto, introduce conceptos clave como MPEG, MPEG-7, descriptores visuales y descriptores de color. También describe herramientas de software y métodos para la caracterización y pruebas de los descriptores de color de MPEG-7.

1. Contribución a la caracterización
del descriptor visual de color
del estándar MPEG-7
Presentado por: Jose Edward Ortiz A.
Dirigido por: Patricia Trujillo PhD.

2. Contenido
 Introducción (CBIR)
 Objetivos general y específicos
 MPEG y MPEG-7
 Descriptores visuales
 Descriptores de color
 Herramienta de software
 Caracterización
 Conclusiones
 Preguntas
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 2
Jose Edward Ortiz

3. CBIR: Content based image retrieval
•Tiempo de anotación
Sistemas de anotación manual •Objetividad?
•Consistencia?
•Imparcialidad?
•Criterio?
Sistemas de anotación automáticos
•Es deterministico
•Procesamiento rápido
•Capacidad de análisis estadísticos
•Mejor nivel de detalle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 3
Jose Edward Ortiz

4. Objetivos
 GENERAL
 Contribuir a la caracterización del descriptor visual de color de
MPEG-7
 ESPECÍFICOS
 Implementar una aplicación que calcule y almacene la información de
color contenida en una imagen
 Implementar una aplicación que permita la recuperación de imágenes,
con base en la información de color existente en un banco de
descriptores de imágenes
 Realizar pruebas de la aplicación, usando un repositorio de imágenes
estándar
 Estudiar el poder discriminante de los descriptores de color en la
recuperación de imágenes.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 4
Jose Edward Ortiz

5. MPEG
 Moving Picture Experts Group
MPEG ha normalizado los siguientes formatos de compresión y normas auxiliares:
 MPEG-1: Estándar inicial de compresión de audio y vídeo. Base de MP3.
 MPEG-2: Norma para audio y vídeo para difusión de calidad de televisión y DVD.
 MPEG-3: Diseñado originalmente para Televisión de Alta Definición, pero abandonado
posteriormente en favor de MPEG-2.
 MPEG-4: Basado en MPEG1 y MPEG2, con soporte para objetos y medios 3D,
utilizado en difusión de video digital.
 MPEG-7: Sistema formal para la descripción de contenido multimedia.
 MPEG-21: FrameWork multimedia que hace uso de todas las normas anteriores.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 5
Jose Edward Ortiz

6. MPEG-7
 Interfaz de Descripción de Contenido Multimedia
Compresión Descripción
MPEG-1 MPEG-2 MPEG-4
 Partes principales de MPEG-7:
 Descriptors (Visuales y de Audio)
 Description Definition Language (Basado en XML)
 Description Schemes
 Descriptions
 Systems Tools
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 6
Jose Edward Ortiz

7. Anotación en el DDL
.mp3 .mpg .jpg .xml .mp7
Basado en XML por ser un lenguaje estándar y extensible.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 7
Jose Edward Ortiz

8. Funcionamiento de MPEG-7
eXperimentation Model (XM)
ImageMagic DomXML
Proceso
de anotación
(off-line)
XML (o BiM)
Repositorio
multimedia
Matching
Anotación
Recuperación
Imagen de ejemplo
1
Proceso 2
de recuperación
3
(on-line) .
Imagen
.
de consulta
Lista de imágenes
de respuesta
Repositorio anotado
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 8
Jose Edward Ortiz

9. Descriptores visuales
 Color Descriptors  Motion Descriptors
 Texture Descriptors  Camera Motion
 Homogenous Texture  Motion Trajectory
 Texture Browsing  Parametric Motion
 Edge Histogram  Motion Activity
 Shape Descriptors  Localization
 Region Shape  Region Locator
 Contour Shape  Spatio Temporal Locator
 Shape 3D  Others
 Face Recognition
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 9
Jose Edward Ortiz

10. Descriptores de color
De contexto
Espacio de color
Explica el color dominante
Cuantización de color
De recuperación
Color dominante Recuperación por características muy generales (paisajes)
Color escalable Grupo de marcos o imágenes
Recuperación contenido de color
Distribución de color Recuperación por forma
Estructura de color
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 10
Jose Edward Ortiz

11. Espacio de color
 RGB: Muy utilizado en representación digital de color.
 Y,Cr,Cb: Útil para trabajar con escala de grises
 H,S,V: Semejante a la forma humana de percepción del
color.
 HMMD: Cuantización definida.
 Transformación lineal con referencia a RGB
 Escala de grises
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 11
Jose Edward Ortiz

12. Cuantización del color
 Contenido y distribución.
256
128
64
Imágenes originales de “Presentación de Imágenes.pdf”, Maria PatriciaTrujillp
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 12
Jose Edward Ortiz

13. Colores dominantes
 Clustering de color de hasta 8 nodos
 Estructura del descriptor: Vector 3D, Porcentaje
 Cálculo utilizando el Algoritmo Generalizado de
Lloyd
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 13
Jose Edward Ortiz

14. Colores dominantes
 Anotación XML
<Value>
<VisualDescriptor <Percentage>3</Percentage>
xmlns="urn:mpeg:mpeg7:schema: <Index>17 18 9</Index>
2001" </Value>
xmlns:xsi="http://www.w3.org/200 <Value>
1/XMLSchema-instance" <Percentage>2</Percentage>
xsi:type="DominantColorType"> <Index>21 16 6</Index>
</Value>
<SpatialCoherency>0</SpatialC <Value>
oherency> <Percentage>7</Percentage>
<Value> <Index>20 25 27</Index>
<Percentage>3</Percentage> </Value>
<Index>4 4 2</Index> <Value>
</Value> <Percentage>4</Percentage>
<Value> <Index>13 13 6</Index>
<Percentage>4</Percentage> </Value>
<Index>9 9 4</Index> <Value>
</Value> <Percentage>2</Percentage>
<Value> <Index>19 21 7</Index>
<Percentage>3</Percentage> </Value>
<Index>14 17 20</Index> </VisualDescriptor>
</Value>
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 14
Jose Edward Ortiz

15. Colores dominantes
 Recuperación
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 15
Jose Edward Ortiz

16. Color escalable
 Histograma de color en HSV, normalizado con la
transformada de Haar (Utilizando la cuantización
definida)
 Se codifica utilizando la transformada de Haar.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 16
Jose Edward Ortiz

17. Color escalable
 Ejemplo de anotación XML
<VisualDescriptor xsi:type="ScalableColorType"
numOfBitplanesDiscarded="0" numOfCoeff="256">
<Coeff>-212 75 27 56 3 11 21 28 4 8 8 22 15 20 25 25 -2 0 -3 4 -5 -1
9 8 -2 2 4 6 -9 0 -4 -3 0 2 0 5 0 0 -2 2 1 1 1 2 -14 0 -4 5 -14 -3 -13 -8 -12
-5 -2 -3 -3 3 0 2 5 5 0 -2 0 -1 0 0 0 1 1 1 1 0 2 0 2 2 0 0 0 0 0 2 0 1 0 1 2
0 3 -3 3 0 0 -1 0 0 0 0 1 1 3 2 2 -4 -2 -7 -3 -2 0 -1 -1 0 0 1 0 2 1 0 7 3 7 1
10 2 5 2 0 -1 0 -3 0 -1 -3 -2 0 -1 0 -5 0 -1 -3 -2 0 -1 0 -5 0 -3 -1 -4 0 -3 0
-5 0 -3 -3 -3 0 -1 0 -2 0 -1 -3 -2 0 -1 0 -2 0 -3 -6 -3 0 -1 -1 1 0 3 -9 0 0 -3
0 -3 0 3 4 6 0 -1 0 -3 -1 0 4 5 0 -1 0 -6 -1 1 -1 3 0 -1 1 -6 0 0 -1 2 0 -3 -3
-6 -3 0 -3 2 -3 0 -3 0 -3 0 -1 2 -3 0 0 0 -3 2 0 1 -3 1 0 5 -3 1 -7 -1 -3 -2 -3
-1 -2 0 -3 0</Coeff>
</VisualDescriptor>
 Recuperación utilizando la norma uno
(Sumatoria del valor absoluto de las diferencias)
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 17
Jose Edward Ortiz

18. Distribución de color
 Estructura espacial del color
 Boceto de 8x8
 Útil para recuperación por boceto
 Se utiliza el espacio YCC
 Se representa con coeficientes DCT (AC y DC)
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 18
Jose Edward Ortiz

19. Distribución de color
 Anotación XML
<VisualDescriptor xsi:type="ColorLayoutType">
<YDCCoeff>29</YDCCoeff>
<CbDCCoeff>18</CbDCCoeff>
<CrDCCoeff>27</CrDCCoeff>
<YACCoeff63>18 26 24 12 12 17 13 16 15 13 14 17 15 12 15 16 14 17 15 12
15 16 16 16 18 16 15 15 15 17 15 16 16 15 15 16 14 15 16 14 15 16 16 17 15
15 15 15 15 15 16 16 16 15 15 16 15 16 15 15 16 16 16</YACCoeff63>
<CbACCoeff63>13 26 25 18 15 12 17 16 16 15 18 14 18 18 18 15 16 18 17
14 15 14 15 16 13 14 16 17 15 16 17 15 17 16 16 13 15 16 15 15 16 15 15 15
16 16 16 15 15 15 15 15 15 16 16 16 15 15 16 16 16 15 16</CbACCoeff63>
<CrACCoeff63>14 9 9 15 15 17 16 17 15 16 15 16 15 14 16 16 15 15 15 17
16 15 15 15 17 16 15 15 16 14 15 16 15 17 17 16 16 16 15 16 16 16 16 16 16
15 15 15 16 16 15 15 16 15 16 15 15 16 15 16 15 16 15</CrACCoeff63>
</VisualDescriptor>
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 19
Jose Edward Ortiz

20. Distribución de color
 Recuperación
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 20
Jose Edward Ortiz

21. Estructura del color
 Histograma basado en estructura de 8x8 pixeles
 Captura el contenido y la configuración espacial
 Se presenta en el espacio HMMD
Imagen original de “MPEG 7 Color Structure Descriptor”, Adis Buturovic
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 21
Jose Edward Ortiz

22. Estructura del color
 Anotación XML
<MultimediaContentxsi:type = "ImageType">
<VisualDescriptor xsi:type = "ColorStructureType" colorQuant= “1" >
<Values>183 0 0 0 255 15 81 0 219 175 92 37 101 92 58 53 34 73
56 86 24 3 4 0 55 28 15 15 34 4 0 0</Values>
</VisualDescriptor>
</MultimediaContent>
 Recuperación utilizando la norma uno.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 22
Jose Edward Ortiz

23. Modelo de eXperimentación MPEG-7
de la Universidad del Valle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 23
Jose Edward Ortiz

24. Modelo de eXperimentación MPEG-7
de la Universidad del Valle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 24
Jose Edward Ortiz

25. Modelo de eXperimentación MPEG-7
de la Universidad del Valle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 25
Jose Edward Ortiz

26. Modelo de eXperimentación MPEG-7
de la Universidad del Valle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 26
Jose Edward Ortiz

27. Modelo de eXperimentación MPEG-7
de la Universidad del Valle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 27
Jose Edward Ortiz

28. Caracterización
 La medida ANMRR (Average Normalizad Modified Retrieval Rate) da
como resultado un sólo número que indica la calidad de la
recuperación sobre todas las consultas. Esta medida se usa, como
el criterio de evaluación en todos los experimentos sobre los
descriptores visuales de MPEG-7.
 Esta medida esta definida por:
q = Imagen de consulta
Esta medida toma valores en el rango [0,1]
0 -> Todas las imágenes ground-truth aparecieron en la ventana de resultados
1 -> Ninguna imagen ground-truth apareció en la ventana de resultados
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 28
Jose Edward Ortiz

29. Resultados
Categoría Subcategoría Detalles (Ejemplos)
Personas 1. Una persona En primer plano
2. Varias personas En primer plano
Paisajes 3. Urbanos Edificios, iglesias, etc.
4. Rurales vegetación Bosques, prados, etc.
5. Rurales playa amarilla
6. Rurales mar y vegetación
7. Rurales casas
Objetos 8. Variados Herramientas, muebles, etc.
Vegetales 9. Flores
10. Verduras-frutas
11. Plantas De tipo decorativo.
Animales 12. Acuáticos
13. Terrestres
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 29
Jose Edward Ortiz

30. Detalles técnicos de las pruebas
Características del equipo de pruebas
•Procesador AMD Athlon XP 2200 GHz
•1 GB de memoria RAM
•250 GB DD
Configuración de las pruebas
•1 repositorio de 100 imágenes por cada subcategoría.
•1 imágen de consulta por cada repositorio.
•10 Imágenes ground-truth (incluidas en el repositorio).
•Ejecución de 5 consultas por cada pareja descriptor-subcategoría.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 30
Jose Edward Ortiz

31. Resultados
Subcategoría DC SC CS CL IS
1. Una persona 0.57 0.29 0.26 0.41 0,64
2. Varias personas 0.72 0.41 0.17 0.19 0,79
3. Urbanos 0.54 0.59 0.68* 0.56 0,84
4. Rurales vegetación 0.08* 0.00* 0.00* 0.11 0,11
5. Rurales playa amarilla 0.88 0.32 0.32 1.00* 0,80
6. Rurales mar y vegetación 0.57 0.80 0.51 0.41 0,60
7. Rurales casas 0.86 0.82* 0.56 0.46 0,80
8. Variados 0.16 0.16 0.16 0.16 0,16
9. Flores 0.34 0.18 0.00* 0.71 0,42
10. Verduras-frutas 0.64 0.38 0.19 0.00* 0,91
11. Plantas 0.37 0.34 0.21 0.22 1,00
12. Acuáticos 1.00* 0.41 0.22 0.44 0,76
13. Terrestres 0.20 0.59 0.68* 0.13 0,60
Tiempo anotación (seg) 2.28 0.1 0.3 0.08 --
Mejor recuperación [0 - 0.2]: Peor recuperación [0.8 - 1]:
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 31
Jose Edward Ortiz

32. Imágenes ground truth
Consulta Imágenes ground truth
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 32
Jose Edward Ortiz

33. Conclusiones
 Los descriptores de Color dominante y Distribución de color pueden
recibir como entrada al momento de la recuperación además de
imágenes de ejemplo, bocetos hechos manualmente por el usuario.
 Color dominante es una descriptor muy costoso de calcular
computacionalmente y sus resultados no son los mejores, por tanto
su uso se podría condicionar por el campo de acción y tipo de
imágenes a recuperar.
 La característica de color en el estándar MPEG-7 se puede resumir
en un análisis cuantitativo (Ej: histogramas de color) y de
distribución espacial (Ej: distribución de color).
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 33
Jose Edward Ortiz

34. Conclusiones
 La orientación de las imágenes en el repositorio no
cambia los resultados de recuperación de los
descriptores Color dominante, Estructura de color y
Color escalable, pero si afecta a Distribución de color.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 34
Jose Edward Ortiz

35. Conclusiones
 La orientación de captura de las imágenes (horizontal-vertical)
no afecta significativamente los resultados de recuperación
(incluso en Distribución de color) debido a que en cualquiera de
los dos sentidos se conserva el 75% del contenido de la imagen
que la parte central (zona más relevante de la imagen).
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 35
Jose Edward Ortiz

36. ¿ Preguntas y/o sugerencias?
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 36
Jose Edward Ortiz

37. ¡Muchas gracias!
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 37
Jose Edward Ortiz