1. INTRODUCCIÓN A LA CLASIFICACIÓN DE IMÁGENES
Introducción
Ernest Valveny
DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIÓN
2. Introducción a la clasificación de imágenes
¿QUÉ ES la clasificación de imágenes?
• Asignar etiquetas a una imagen
persona
bicicleta
ciudad
río
puente
(*) Todas las imágenes de ejemplo que aparecen en este vídeo pertenecen a la base de datos de imágenes Pascal Dataset VOC 2012,
http://host.robots.ox.ac.uk/pascal/VOC/
cielo
agua
nubes
salto
peligro
3. Introducción a la clasificación de imágenes
¿CÓMO asignamos etiquetas a una imagen?
• Proceso de aprendizaje a partir de imágenes de ejemplo
• Aprender qué características visuales son comunes a todas las imágenes de una categoría
y qué las distingue de las imágenes de otras categorías
persona
ciudad
bicicleta
4. Introducción a la clasificación de imágenes
¿Qué NO es la clasificación de imágenes?
Detección de objetos
Búsqueda por similitud (retrieval)
Segmentación
https://www.coursera.org/learn/deteccion-objetos
5. Introducción a la clasificación de imágenes
DIFICULTADES para la clasificación de imágenes
Variabilidad contenido visual imágenes
• Iluminación
• Tamaño, posición, punto de vista
• Variabilidad en el fondo de la imagen
• Oclusiones parciales
• Variabilidad intra-clase
Número muy elevado de categorías
> 100.000 conceptos
7. Esquema general de la clasificación de imágenes
Introducción a la clasificación de imágenes
1. Detección de puntos de interés 2. Descripción local de puntos de interés
Extracción de
características
Representación
de la imagen
Clasificación “bicicleta”
𝑝1 = 𝑝11, 𝑝12, ⋯ , 𝑝1𝑛
𝑝2 = 𝑝21, 𝑝22, ⋯ , 𝑝2𝑛
𝑝𝑚 = 𝑝𝑚1, 𝑝𝑚2, ⋯ , 𝑝𝑚𝑛
⋮
8. Extracción de características Representación
de la imagen
Clasificación
Esquema general de la clasificación de imágenes
Introducción a la clasificación de imágenes
“bicicleta”
Detección Descripción
𝑝𝑘 = 𝑝𝑘1, 𝑝𝑘2, ⋯ , 𝑝𝑘𝑛
9. Extracción de características Representación
de la imagen
Clasificación
Esquema general de la clasificación de imágenes
Introducción a la clasificación de imágenes
“bicicleta”
Detección Descripción
𝑝𝑘 = 𝑝𝑘1, 𝑝𝑘2, ⋯ , 𝑝𝑘𝑛
𝑥 = 𝑥1, 𝑥2, ⋯ , 𝑥𝑠
10. Extracción de características Representación
de la imagen
Clasificación
Esquema general de la clasificación de imágenes
Introducción a la clasificación de imágenes
“bicicleta”
Detección Descripción
𝑝𝑘 = 𝑝𝑘1, 𝑝𝑘2, ⋯ , 𝑝𝑘𝑛
𝑥 = 𝑥1, 𝑥2, ⋯ , 𝑥𝑠
𝑥 = 𝑥1, 𝑥2, ⋯ , 𝑥𝑠
𝑥 = 𝑥1, 𝑥2, ⋯ , 𝑥𝑠
𝑥 = 𝑥1, 𝑥2, ⋯ , 𝑥𝑠
𝑥 = 𝑥1, 𝑥2, ⋯ , 𝑥𝑠
11. Contenido del curso
Introducción a la clasificación de imágenes
Clasificación de imágenes
SEMANA
Detector
características
Descriptor
características
Representación
imagen
Clasificación
1 SIFT SIFT Conjunto de puntos K-NN
2 BoW básico SVM
3
Dense sampling,
Harris, SURF
SURF, Descriptores
de color, PCA
4 Fusión características
Fusión de
representaciones
Combinación
clasificadores
5
Información de contexto,
pirámides espaciales
6 CNN CNN GMM, Fisher Vector, VLAD CNN