Este documento presenta una contribución a la caracterización del descriptor visual de color del estándar MPEG-7. Explica brevemente los objetivos generales y específicos del proyecto, introduce conceptos clave como MPEG, MPEG-7, descriptores visuales y descriptores de color. También describe herramientas de software y métodos para la caracterización y pruebas de los descriptores de color de MPEG-7.
Se presenta un método para la identificación automática de células epiteliales en tejidos de histología. Trabajo presentado en el marco del VIII Congreso Colombiano de Morfología -2012
Más contenido relacionado
Similar a Contribucion a la caracterizacion del descriptor de color del estandar MPEG-7
Se presenta un método para la identificación automática de células epiteliales en tejidos de histología. Trabajo presentado en el marco del VIII Congreso Colombiano de Morfología -2012
A comparison of stereo correspondence algorithms can be conducted by a quantitative evaluation of disparity maps. Among the existing evaluation methodologies, the Middlebury’s methodology is commonly used. However, the Middlebury’s methodology has shortcomings in the evaluation model and the error measure. These shortcomings may bias the evaluation results, and make a fair judgment about algorithms accuracy difficult. An alternative, the methodology is based on a multiobjective optimisation model that only provides a subset of algorithms with comparable accuracy. In this paper, a quantitative evaluation of disparity maps is proposed. It performs an exhaustive assessment of the entire set of algorithms. As innovative aspect, evaluation results are shown and analysed as disjoint groups of stereo correspondence algorithms with comparable accuracy. This innovation is obtained by a partitioning and grouping algorithm. On the other hand, the used error measure offers advantages over the error measure used in the Middlebury’s methodology. The experimental validation is based on the Middlebury’s test-bed and algorithms repository. The obtained results show seven groups with different accuracies. Moreover, the top-ranked stereo correspondence algorithms by the Middlebury’s methodology are not necessarily the most accurate in the proposed methodology
A quantitative evaluation methodology for disparity maps includes the selection of an error measure. Among existing measures, the percentage of bad matched pixels is commonly used. Nevertheless, it requires an error threshold. Thus, a score of zero bad matched pixels does not necessarily imply that a disparity map is free of errors. On the other hand, we have not found publications on the evaluation process where different error measures are applied. In this paper, error measures are characterised in order to provide the bases to select a measure during the evaluation process. An analysis of the impact on results of selecting different error measures on the evaluation of disparity maps is conducted based on the presented characterisation. The evaluation results showed that there is a lack of consistency on the results achieved by considering different error measures. It has an impact on interpreting the accuracy of stereo correspondence algorithms.
Stereo vision is related to the estimation of the depth of a scene captured, simultaneously, from different points of view. A fundamental problem in stereo vision is the search of corresponding points. A pair of corresponding points is formed by the projections of a same point in space. Find pairs of corresponding points allows to estimate the depth through of triangulation. Dynamic Programming is a efficient method for the search of pairs of corresponding points. In this paper are used different aspects of approaches which used Dynamic Programming for the search of pairs of corresponding points
Electronic microscopes are tools for capturing multimedia information that provide an alternative solution to several problems. Char coal classification is carried out manually by observing its morphological characteristics. In this process is necessary to analyse at least five hundred particles. As an alternative, the automation requires the use of image processing techniques. The char images acquisition is carried out automatically using an electronic microscope with motorized stage. In this process blur, empty and fragment particles images are captured. Including all these images in the classification process imply an additional effort during the process. In particular, the blur images may produce quantification errors in the quantification of the morphological characteristics. In this article a method, based on gradient magnitude and saturation for automatic identification of blur images and images with little content, is presented as a first step towards automatic classification process. Experimental results shown that the proposed method detects 70% of blur images and 95% of images with little content
La clasificación de carbonizados se realiza, generalmente, de forma manual mediante el análisis de las características morfológicas de al menos 500 partículas. Existen varias propuestas de clasificación semiautomática y automática usando técnicas de procesamiento de imágenes, sin embargo es poca la atención prestada al preprocesamiento de las imágenes. Las imágenes de carbonizados, normalmente empleadas para la clasificación automática, son de alta resolución (1300x1030 píxeles). Adicionalmente, analizar 500 partículas implica procesar al menos 290 imágenes para clasificar una muestra. En este artículo, se analiza el uso del sub-muestreo para reducir la resolución de las imágenes y su impacto sobre la clasificación de los carbonizados. Los resultados experimentales muestran que una reducción en el tamaño de las imágenes, a la mitad reduce hasta en un 69.19% el tiempo de procesamiento y no afecta la clasificación final de la muestra
Char classification process is based on morphological characteristics, such as: number of pores, distribution of pores and all thickness. Approximately, five hundred images have to be analysing in order to classify a char sample. Frequently, these images have high spatial resolution, 1300 x 1030 pixels, and intensity levels are represented using 8 bits. Thus, char image applications require large storage and processing capacity. In this paper, we compare different subsampling and quantisation strategies in order to reduce the spatial resolution and the number of bits used. Compared strategies showed excellent results in reducing spatial resolution and intensity levels, with minimal loss of information or details in processed images
Images are retrieved from a repository using MPEG-7 visual descriptors. The MPEG-7 standard uses XML documents for
storing descriptors of multimedia content. The MPEG-7 standard does not define a model for mapping XML documents into a
database. However, XML documents can be considered as a database. An XML document is self-describing and portable data
collection that has a data structure of a tree or a graph. An XML document collection can be semi-structured and this quality
allows grouping XML documents without a schema that relate them. There are two possible database models: the Native XML
and the Relational. A database model for XML documents is selected based on the purpose of information use and database
requirements. In this paper, both models are described and analysed. A relational database schema is designed for mapping
MPEG-7 visual descriptors into a database
Resource-Oriented Architecture offers advantages over other web-service architectures. It is based on a simple, scalable and highly standardised application-level protocol. Multimedia content is commonly managed using the MPEG-7. The MPEG-7 is a standard for representing audiovisual information that satisfies specific requirements based on syntax, semantic and decoding. Content descriptions under MPEG-7 can be organised and characterized without ambiguity. The MPEG-7 eXperimental Model (XM) includes the best performing tools for MPEG-7 normative and non-normative elements. In this paper, multimedia content is managed using the MPEG-7 eXperimental Model functionalities and provided using web-services technology. RESTful principles are the guidelines for achieving multimedia content storage and retrieval. Quantitative evaluation of the proposed web services has shown that this approach has better performance, in term of retrieval speed and storage space
Multimedia content is extracted automatically using MPEG-7 visual descriptors. The MPEG-7 uses an extended XML standard for defining structural relation between descriptors allowing creation and modification of description schemes. MPEG-7 visual descriptors are numerical representations of features - such as: texture, shape and color - extracted from an image. In this paper, the MPEG-7 is conceived as a set of services for extracting and storing visual descriptors. The MPEg-7 text-annotation tool is used for semantic descriptions. Semantic descriptions are linked to images content and conceived as a service for annotating and storing. A framework using service oriented architecture for mapping semantic descriptions and MPEG-7 visual descriptors into a pure-relational model is proposed.
The camera calibration problem consists in estimating the intrinsic and the extrinsic parameters. This problem can be solved by computing the fundamental matrix. The fundamental matrix can be obtained from a set of corresponding points. However in practice, corresponding points may be inaccurately estimated, falsely matched or badly located, due to occlusion and ambiguity, among others. On the other hand, if the set of corresponding points does not include information on different depth planes, the estimated fundamental matrix may not be able to correctly recover the epipolar geometry. In this paper a method for estimating the fundamental matrix is introduced. The estimation problem is posed as finding a set of corresponding points. Fundamental matrices are estimated using subsets of corresponding points and an optimisation criterion is used to select the best estimated fundamental matrix. The experimental evaluation shows that the least range of residuals is a tolerant criterion to large baselines.
ROMPECABEZAS DE ECUACIONES DE PRIMER GRADO OLIMPIADA DE PARÍS 2024. Por JAVIE...JAVIER SOLIS NOYOLA
El Mtro. JAVIER SOLIS NOYOLA crea y desarrolla el “ROMPECABEZAS DE ECUACIONES DE 1ER. GRADO OLIMPIADA DE PARÍS 2024”. Esta actividad de aprendizaje propone retos de cálculo algebraico mediante ecuaciones de 1er. grado, y viso-espacialidad, lo cual dará la oportunidad de formar un rompecabezas. La intención didáctica de esta actividad de aprendizaje es, promover los pensamientos lógicos (convergente) y creativo (divergente o lateral), mediante modelos mentales de: atención, memoria, imaginación, percepción (Geométrica y conceptual), perspicacia, inferencia, viso-espacialidad. Esta actividad de aprendizaje es de enfoques lúdico y transversal, ya que integra diversas áreas del conocimiento, entre ellas: matemático, artístico, lenguaje, historia, y las neurociencias.
Contribucion a la caracterizacion del descriptor de color del estandar MPEG-7
1. Contribución a la caracterización
del descriptor visual de color
del estándar MPEG-7
Presentado por: Jose Edward Ortiz A.
Dirigido por: Patricia Trujillo PhD.
2. Contenido
Introducción (CBIR)
Objetivos general y específicos
MPEG y MPEG-7
Descriptores visuales
Descriptores de color
Herramienta de software
Caracterización
Conclusiones
Preguntas
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 2
Jose Edward Ortiz
3. CBIR: Content based image retrieval
•Tiempo de anotación
Sistemas de anotación manual •Objetividad?
•Consistencia?
•Imparcialidad?
•Criterio?
Sistemas de anotación automáticos
•Es deterministico
•Procesamiento rápido
•Capacidad de análisis estadísticos
•Mejor nivel de detalle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 3
Jose Edward Ortiz
4. Objetivos
GENERAL
Contribuir a la caracterización del descriptor visual de color de
MPEG-7
ESPECÍFICOS
Implementar una aplicación que calcule y almacene la información de
color contenida en una imagen
Implementar una aplicación que permita la recuperación de imágenes,
con base en la información de color existente en un banco de
descriptores de imágenes
Realizar pruebas de la aplicación, usando un repositorio de imágenes
estándar
Estudiar el poder discriminante de los descriptores de color en la
recuperación de imágenes.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 4
Jose Edward Ortiz
5. MPEG
Moving Picture Experts Group
MPEG ha normalizado los siguientes formatos de compresión y normas auxiliares:
MPEG-1: Estándar inicial de compresión de audio y vídeo. Base de MP3.
MPEG-2: Norma para audio y vídeo para difusión de calidad de televisión y DVD.
MPEG-3: Diseñado originalmente para Televisión de Alta Definición, pero abandonado
posteriormente en favor de MPEG-2.
MPEG-4: Basado en MPEG1 y MPEG2, con soporte para objetos y medios 3D,
utilizado en difusión de video digital.
MPEG-7: Sistema formal para la descripción de contenido multimedia.
MPEG-21: FrameWork multimedia que hace uso de todas las normas anteriores.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 5
Jose Edward Ortiz
6. MPEG-7
Interfaz de Descripción de Contenido Multimedia
Compresión Descripción
MPEG-1 MPEG-2 MPEG-4
Partes principales de MPEG-7:
Descriptors (Visuales y de Audio)
Description Definition Language (Basado en XML)
Description Schemes
Descriptions
Systems Tools
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 6
Jose Edward Ortiz
7. Anotación en el DDL
.mp3 .mpg .jpg .xml .mp7
Basado en XML por ser un lenguaje estándar y extensible.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 7
Jose Edward Ortiz
8. Funcionamiento de MPEG-7
eXperimentation Model (XM)
ImageMagic DomXML
Proceso
de anotación
(off-line)
XML (o BiM)
Repositorio
multimedia
Matching
Anotación
Recuperación
Imagen de ejemplo
1
Proceso 2
de recuperación
3
(on-line) .
Imagen
.
de consulta
Lista de imágenes
de respuesta
Repositorio anotado
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 8
Jose Edward Ortiz
9. Descriptores visuales
Color Descriptors Motion Descriptors
Texture Descriptors Camera Motion
Homogenous Texture Motion Trajectory
Texture Browsing Parametric Motion
Edge Histogram Motion Activity
Shape Descriptors Localization
Region Shape Region Locator
Contour Shape Spatio Temporal Locator
Shape 3D Others
Face Recognition
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 9
Jose Edward Ortiz
10. Descriptores de color
De contexto
Espacio de color
Explica el color dominante
Cuantización de color
De recuperación
Color dominante Recuperación por características muy generales (paisajes)
Color escalable Grupo de marcos o imágenes
Recuperación contenido de color
Distribución de color Recuperación por forma
Estructura de color
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 10
Jose Edward Ortiz
11. Espacio de color
RGB: Muy utilizado en representación digital de color.
Y,Cr,Cb: Útil para trabajar con escala de grises
H,S,V: Semejante a la forma humana de percepción del
color.
HMMD: Cuantización definida.
Transformación lineal con referencia a RGB
Escala de grises
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 11
Jose Edward Ortiz
12. Cuantización del color
Contenido y distribución.
256
128
64
Imágenes originales de “Presentación de Imágenes.pdf”, Maria PatriciaTrujillp
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 12
Jose Edward Ortiz
13. Colores dominantes
Clustering de color de hasta 8 nodos
Estructura del descriptor: Vector 3D, Porcentaje
Cálculo utilizando el Algoritmo Generalizado de
Lloyd
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 13
Jose Edward Ortiz
14. Colores dominantes
Anotación XML
<Value>
<VisualDescriptor <Percentage>3</Percentage>
xmlns="urn:mpeg:mpeg7:schema: <Index>17 18 9</Index>
2001" </Value>
xmlns:xsi="http://www.w3.org/200 <Value>
1/XMLSchema-instance" <Percentage>2</Percentage>
xsi:type="DominantColorType"> <Index>21 16 6</Index>
</Value>
<SpatialCoherency>0</SpatialC <Value>
oherency> <Percentage>7</Percentage>
<Value> <Index>20 25 27</Index>
<Percentage>3</Percentage> </Value>
<Index>4 4 2</Index> <Value>
</Value> <Percentage>4</Percentage>
<Value> <Index>13 13 6</Index>
<Percentage>4</Percentage> </Value>
<Index>9 9 4</Index> <Value>
</Value> <Percentage>2</Percentage>
<Value> <Index>19 21 7</Index>
<Percentage>3</Percentage> </Value>
<Index>14 17 20</Index> </VisualDescriptor>
</Value>
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 14
Jose Edward Ortiz
15. Colores dominantes
Recuperación
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 15
Jose Edward Ortiz
16. Color escalable
Histograma de color en HSV, normalizado con la
transformada de Haar (Utilizando la cuantización
definida)
Se codifica utilizando la transformada de Haar.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 16
Jose Edward Ortiz
18. Distribución de color
Estructura espacial del color
Boceto de 8x8
Útil para recuperación por boceto
Se utiliza el espacio YCC
Se representa con coeficientes DCT (AC y DC)
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 18
Jose Edward Ortiz
20. Distribución de color
Recuperación
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 20
Jose Edward Ortiz
21. Estructura del color
Histograma basado en estructura de 8x8 pixeles
Captura el contenido y la configuración espacial
Se presenta en el espacio HMMD
Imagen original de “MPEG 7 Color Structure Descriptor”, Adis Buturovic
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 21
Jose Edward Ortiz
22. Estructura del color
Anotación XML
<MultimediaContentxsi:type = "ImageType">
<VisualDescriptor xsi:type = "ColorStructureType" colorQuant= “1" >
<Values>183 0 0 0 255 15 81 0 219 175 92 37 101 92 58 53 34 73
56 86 24 3 4 0 55 28 15 15 34 4 0 0</Values>
</VisualDescriptor>
</MultimediaContent>
Recuperación utilizando la norma uno.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 22
Jose Edward Ortiz
23. Modelo de eXperimentación MPEG-7
de la Universidad del Valle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 23
Jose Edward Ortiz
24. Modelo de eXperimentación MPEG-7
de la Universidad del Valle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 24
Jose Edward Ortiz
25. Modelo de eXperimentación MPEG-7
de la Universidad del Valle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 25
Jose Edward Ortiz
26. Modelo de eXperimentación MPEG-7
de la Universidad del Valle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 26
Jose Edward Ortiz
27. Modelo de eXperimentación MPEG-7
de la Universidad del Valle
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 27
Jose Edward Ortiz
28. Caracterización
La medida ANMRR (Average Normalizad Modified Retrieval Rate) da
como resultado un sólo número que indica la calidad de la
recuperación sobre todas las consultas. Esta medida se usa, como
el criterio de evaluación en todos los experimentos sobre los
descriptores visuales de MPEG-7.
Esta medida esta definida por:
q = Imagen de consulta
Esta medida toma valores en el rango [0,1]
0 -> Todas las imágenes ground-truth aparecieron en la ventana de resultados
1 -> Ninguna imagen ground-truth apareció en la ventana de resultados
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 28
Jose Edward Ortiz
29. Resultados
Categoría Subcategoría Detalles (Ejemplos)
Personas 1. Una persona En primer plano
2. Varias personas En primer plano
Paisajes 3. Urbanos Edificios, iglesias, etc.
4. Rurales vegetación Bosques, prados, etc.
5. Rurales playa amarilla
6. Rurales mar y vegetación
7. Rurales casas
Objetos 8. Variados Herramientas, muebles, etc.
Vegetales 9. Flores
10. Verduras-frutas
11. Plantas De tipo decorativo.
Animales 12. Acuáticos
13. Terrestres
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 29
Jose Edward Ortiz
30. Detalles técnicos de las pruebas
Características del equipo de pruebas
•Procesador AMD Athlon XP 2200 GHz
•1 GB de memoria RAM
•250 GB DD
Configuración de las pruebas
•1 repositorio de 100 imágenes por cada subcategoría.
•1 imágen de consulta por cada repositorio.
•10 Imágenes ground-truth (incluidas en el repositorio).
•Ejecución de 5 consultas por cada pareja descriptor-subcategoría.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 30
Jose Edward Ortiz
31. Resultados
Subcategoría DC SC CS CL IS
1. Una persona 0.57 0.29 0.26 0.41 0,64
2. Varias personas 0.72 0.41 0.17 0.19 0,79
3. Urbanos 0.54 0.59 0.68* 0.56 0,84
4. Rurales vegetación 0.08* 0.00* 0.00* 0.11 0,11
5. Rurales playa amarilla 0.88 0.32 0.32 1.00* 0,80
6. Rurales mar y vegetación 0.57 0.80 0.51 0.41 0,60
7. Rurales casas 0.86 0.82* 0.56 0.46 0,80
8. Variados 0.16 0.16 0.16 0.16 0,16
9. Flores 0.34 0.18 0.00* 0.71 0,42
10. Verduras-frutas 0.64 0.38 0.19 0.00* 0,91
11. Plantas 0.37 0.34 0.21 0.22 1,00
12. Acuáticos 1.00* 0.41 0.22 0.44 0,76
13. Terrestres 0.20 0.59 0.68* 0.13 0,60
Tiempo anotación (seg) 2.28 0.1 0.3 0.08 --
Mejor recuperación [0 - 0.2]: Peor recuperación [0.8 - 1]:
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 31
Jose Edward Ortiz
32. Imágenes ground truth
Consulta Imágenes ground truth
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 32
Jose Edward Ortiz
33. Conclusiones
Los descriptores de Color dominante y Distribución de color pueden
recibir como entrada al momento de la recuperación además de
imágenes de ejemplo, bocetos hechos manualmente por el usuario.
Color dominante es una descriptor muy costoso de calcular
computacionalmente y sus resultados no son los mejores, por tanto
su uso se podría condicionar por el campo de acción y tipo de
imágenes a recuperar.
La característica de color en el estándar MPEG-7 se puede resumir
en un análisis cuantitativo (Ej: histogramas de color) y de
distribución espacial (Ej: distribución de color).
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 33
Jose Edward Ortiz
34. Conclusiones
La orientación de las imágenes en el repositorio no
cambia los resultados de recuperación de los
descriptores Color dominante, Estructura de color y
Color escalable, pero si afecta a Distribución de color.
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 34
Jose Edward Ortiz
35. Conclusiones
La orientación de captura de las imágenes (horizontal-vertical)
no afecta significativamente los resultados de recuperación
(incluso en Distribución de color) debido a que en cualquiera de
los dos sentidos se conserva el 75% del contenido de la imagen
que la parte central (zona más relevante de la imagen).
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 35
Jose Edward Ortiz
36. ¿ Preguntas y/o sugerencias?
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 36
Jose Edward Ortiz
37. ¡Muchas gracias!
Contribución a la caracterización del descriptor de color del estándar MPEG-7
Diapositiva 37
Jose Edward Ortiz
Notas del editor
Buenas tardes mi nombre es Jose Edward Ortiz, sean todos bienvenidos a la presentación de los resultados de mi trabajo de grado que tiene como titulo: “ Contribución a la caracterización del descriptor visual de color del estándar MPEG-7”, dirigido por la profesora Patricia Trujillo.
Los siguientes son los temas que se van a tratar:
Anteriormente para recuperar información de grandes repositorios multimedia, se hacia uso de la anotación o indexación manual, que consistía en crear una descripción del contenido del material para facilitar su posterior recuperación. Este proceso presenta problemas de velocidad, ambigüedad, y falta de consistencia, pues dos personas pueden percibir la información visual de forma distinta e incluso una misma persona en diferentes instantes de tiempo, puede describir la misma imagen de manera diferente según sus nuevas experiencias y conocimientos adquiridos. A comienzos de la década de los ’90 surgieron la Recuperación de imágenes basada en contenido CBIR, para solucionar los problemas de la indexación manual. Estos sistemas son deterministicos, es decir producen la misma anotación para la misma imagen en diferentes instantes de tiempo, además son capaces de procesar grandes volúmenes de información.
Los objetivos planteados para este trabajo de grado fueron:
El grupo de expertos en imágenes en movimiento MPEG, surgió con el objetivo de crear una técnica de compresión de video estándar que facilitara el acceso a este tipo de material. MPEG ha normalizado formatos como MPEG 1 para video digital y su extensión para audio MP3, MPEG-2 para difusión de TV, MPEG7 que es el que vamos a ver un poco en esta presentación y MPEG-21 que define un FrameWork multimedia.
A diferencia de MPEG 1, 2 y 4 donde la compresión era el objetivo en MPEG-7 el objetivo es poder tener acceso a la información, es decir la recuperación. La norma MPEG7 esta dividida en algo que el grupo MPEG definió partes. Las principales partes de MPEG7 son: Descriptores, que son las característica a analizar tanto visuales como de audio. DDL, Que define el lenguaje de la anotación como una extensión del XML. DS, Que define la estructura interna de la anotación XML. Descripciones, que es la forma de representar cada descriptor y por ultimo las herramientas que implementan en software todo lo anterior.
Para trabajar con MPEG-7 se tienen dos archivos: El archivo del recurso multimedia en formato .MP3 .MPG o .JPG y el archivo de anotación .XML o .MP7 Aquí podemos ver un ejemplo de una anotación XML, en la parte superior el tag de inicio XML, luego el tag propio de MPEG7, DescriptionUnit agrupa una lista de descripciones y por ultimo Descriptor que define una unidad de descripción que este caso es la información referente a un histograma de color.
El trabajo con MPEG7 se divide en dos etapas, la primera offline donde se toma un gran repositorio de material multimedia al cual se le extraen las anotaciones automáticas. En la segunda etapa recuperación on-line, se parte de una imagen de ejemplo, luego el sistema realiza el mismo proceso de anotación para la imagen de ejemplo y luego se hace un proceso de matching entre la notación de la imagen de ejemplo y las anotaciones del repositorio. Después se retorna una lista con imágenes que pertenecian a las anotaciones que tenían una menor distancia a la anotación de la imagen de ejemplo.
Los descriptores visuales definidos en MPEG7 son color, textura, forma, movimiento, localización y uno especial para reconocimiento de rostros.
El descriptor de color que es el de interés en este trabajo y está dividido en dos grupos: los descriptores de contexto y los descriptores de recuperación. Los descriptores son CS y CQ y son los que le dan un contexto a los demás descriptores. Los descriptores de recuperación DC, SC, CL y CS son los que permiten la anotación y matching por su característica correspondiente.
Los espacios de color definidos en MPEG7 son: ……
Cuando se captura una imagen existen dos procesos: El muestreo que convierte una región continua en un píxel de la imagen digital y la cuantización que es la que determina el color en dicho píxel. El descriptor Cuantización de color almacena la cuantización original de la imagen que por defecto es 256.
Color dominante es uno de los descriptores de recuperación. La idea de este descriptor es resumir la información de color usando hasta 8 colores dominantes Aquí podemos ver un ejemplo: En el centro tenemos la imagen original, al lado izquierdo los colores dominantes generados por el descriptor y al lado derecho una imagen cuantizada utilizando solamente los colores dominante.
Aquí tenemos la anotación XML para el paisaje que vimos dos diapositivas atrás. Tenemos 8 colores dominantes con su correspondiente porcentaje.
La recuperación en todos los descriptores se hace utilizando diferentes medidas de distancia. Para el color dominante se usa esta formula: Donde F1 y F2 son las anotaciones de dos imágenes, a sub k,l es el coeficiente de dissimilitud, p1 y p2 son las probabilidades de cada color dominante para cada imagen.
El color escalable se basa en la técnica mas común de recuperación de imágenes por color que es el histograma de color, trabajado en el espacio de color HSV y pasado por la transformada de Haar para reducir la escala sin perdida de información.
Aquí tenemos un ejemplo de anotación XML para color escalable con los valores para cada casilla del histograma, algunos valores son negativos por el uso de la transformada de Haar. La recuperación se hace utilizando la norma ele uno, a partir de dos anotaciones de color escalable.
El descriptor de distribución de color, se calcula dividiendo la imagen en 8 filas y 8 columnas y determinando el color dominante por cada casilla. Se utiliza el espacio YCC y se codifica utilizando la DCT para comprimir la información de la anotación.
Aquí tenemos un ejemplo de la anotación XML para distribución de color.
Esta el la medida de distancia utilizada para la recuperación de imágenes a partir de anotaciones de distribución de color. Se resta
Aquí tenemos un ejemplo de la anotación XML para estructura de color.
Para la caracterización se utilizo la medida de evaluación de sistemas de recuperación ANMRR la cual fue desarrollada en el proceso de estandarización de MPEG7. Esta medida da como resultado un valor entre 0 y 1 donde el 0 es el mejor resultado en el cual todas las imágenes que dan respuesta a la consulta q estan de primeras en la ventana de resultado. El 1 significa que ninguna de las imágenes que daban respuesta a la consulta estaban en la ventana de resultados.