Tema vision artificial

Visión Artificial
MSc. Edgar Taya Acosta
Universidad Nacional Jorge Basadre
Grohmann
1

2
• Introducción a los Sistemas de Visión Artificial (SVA)
• Aspectos generales sobre imágenes
• Etapas de los SVA
• Elementos de un SVA
• Clases fundamentales de procesado de imágenes
• Algoritmos y aplicaciones sobre imágenes digitales
Panorámica de la Visión Artificial

3
Introducción a los SVA: Objetivo
• Imagen o una secuencia de imágenes  extraer e
interpretar de manera automática la información del
mundo real 3D.
- Escena de tráfico
- Número de vehículos
- Clases de vehículos
- Localización de obstáculos
- Interpretación de la escena

4
Introducción a los SVA:
¿Por qué un SVA?
• “Una imagen tiene más información que mil palabras”
• Muchos sistemas biológicos dependen de su sistema
de visión (inspiración biológica)
• En la actualidad, los ordenadores, cámaras y otros
dispositivos son baratos y sus prestaciones aumentan
• El “mundo real” es 3D y dinámico

5
Introducción a los SVA: Visión Activa
• En ocasiones, los sensores y su entorno se
pueden modificar de manera activa en un
SVA (sistemas activos).
• Se trata de controlar la óptica y la estructura
soporte de las cámaras para simplificar el
problema de Visión Artificial a resolver.
• Características de un sistema activo:
-modo continuo,
-filtrado de la información,
-tiempo real (tiempo de respuesta limitado),
-control del proceso (regiones de interés), …

6
Aspectos de Interés para un SVA:
• ¿Cuál es la información relevante a extraer
de la escena para el problema a resolver?
• ¿Cómo se puede extraer dicha información?
• ¿Cuál es la forma más apropiada de
representar la información extraída?
• ¿Cómo se puede usar dicha información
para resolver el problema de VA planteado?

7
La Visión Artificial es un área
multidisciplinar, relacionada con:
• Tratamiento de imágenes
• Reconocimiento de patrones
• Fotogrametría
• Gráficos por ordenador
• Inteligencia artificial
• Geometría proyectiva
• Teoría de control
• ….

8
Física de la imagen: ¿Cómo se forman las
imágenes?
* Cámaras (sensores):
- ¿Cómo funciona una cámara?
- ¿Cómo posicionar la/s cámara/s en un SVA?
* Luz:
- ¿Cómo medir la cantidad de energía luminosa?
- ¿Cómo interactúa la luz con la superficie de los
objetos?
- ¿Cómo se calculan los valores de brillo de los píxeles?
* Color:
- ¿Cuáles son los mecanismos físicos del color?
- ¿Cómo representar y medir el color?

9
• Teorías antiguas: “luz emitida por el ojo”,...
• Teoría corpuscular (Newton, 1669): explica
fenómenos como la reflexión y la refracción
• Teoría ondulatoria (Huygens, 1690): explica
fenómenos de difracción e interferencia luminosa
• Posteriores trabajos de Young y Fresnel (s. XIX),
relacionados con la teoría ondulatoria
• Teoría electromagnética (Maxwell, s. XIX): teórico del
modelo ondulatorio, establece relaciones entre luz y
electromagnetismo. Cada tipo de radiación
electromagnética se caracteriza por su longitud de
onda λ (λ = c/ν).
Aspectos generales sobre imágenes: la luz

10
• Teoría cuántica (Planck, 1900): la radiación
electromagnética emitida no se realizaba en forma continua
sino en “cuantos de energía” o fotones de valor E = hν.
• Efecto fotoeléctrico (Einstein, 1905): “un haz de luz que
incide sobre una superficie metálica limpia hace que emita
electrones”. Se explica mediante la teoría cuántica.
• Teoría onda-corpúsculo (de Broglie-Bohr, 1925): la luz tiene
a la vez naturaleza ondulatoria (teoría electromagnética) y
corpuscular (teoría cuántica). Ambas son manifestaciones
diferentes de un mismo fenómeno: el luminoso.

11
• Una parte pequeña del espectro electromagnético
es la zona visible (luz visible)
• Comprende longitudes de onda aproximadamente
desde los 400 hasta los 700 nm

12
• La reflexión se produce cuando las ondas (luz,
sonido,..) inciden sobre una superficie de separación
entre dos medios, sin pasar de uno a otro.
• Se presenta en un límite entre dos medios
diferentes como una superficie aire-vidrio, en cuyo
caso parte de la energía incidente se refleja y parte
se absorbe.
• El ángulo entre rayo incidente y la normal es el
ángulo de incidencia, que por la Ley de la Reflexión
es el mismo que el reflejado (reflexión especular).

13
• La refracción se produce cuando la luz incide
sobre una superficie límite de separación entre dos
medios, atravesando de uno a otro
• La parte transmitida se desvía un cierto ángulo de
refracción
• El índice de refracción (n) de un material:
m
m
v
c
n =

14
• Otro fenómeno a destacar es la dispersión (Newton)
• Descomposición de la luz en sus componentes
monocromáticos al penetrar en un medio, como
consecuencia de la variación del índice de refracción del
medio, que desvía las distintas componentes de la luz según
sus respectivas longitudes de onda.
• Así cuando luz blanca penetra en un prisma, este
descompone el haz en sus colores básicos constituyentes.

15
Aspectos generales sobre imágenes:
Sistema Visual Humano

16
Ilusiones ópticas:

17

18
• La luz visible es absorbida (enfocada) por el cristalino,
que actúa como lente, y se proyecta en la retina.
• La retina está compuesta por 2 tipos de células
fotosensibles:
• Conos: responsables del color
• Bastones: responsables de la percepción de la
intensidad (concentrados en el exterior)
• En general un humano posee del orden de 120
millones de bastones y 6 millones de conos
Aspectos generales sobre imágenes: el

19
• Un típico ojo humano mide unos 24 mm desde la córnea
hasta la retina
• Un ojo puede desviarse de su medida “ideal” siendo su
sistema de enfoque normal, en tal caso:
• Si el ojo es más largo: ojo miope
• Si es más corto: ojo hipermétrope
• Si el ojo no posee una buena simetría de revolución
respecto al eje óptico hablamos del astigmatismo
• Las cataratas es una opacidad del cristalino que impide
la llegada de luz a la retina
Aspectos generales sobre imágenes: el

20
• Las imágenes se forman cuando un sensor (p.ej. cámara)
registra la cantidad de radiación luminosa que ha
interaccionado con los objetos físicos de la escena.
• Una imagen digital es una función bidimensional discreta
f(x,y) que asocia a cada punto o píxel (x, y) un valor de brillo.
•El valor f(x,y), podría representar un valor de distancia u
otra cantidad física.
• El tratamiento digital de imágenes consiste en destacar las
características de interés en imágenes (y atenuar el detalle
irrelevante) para conseguir de éstas información útil
Aspectos generales sobre imágenes digitales

21
• Parámetros ópticos: caracterizan al sensor
- tipo de lente, distancia focal, campo de visión, grado de
apertura angular, ...
• Parámetros fotométricos: caracterizan la luz
reflejada por el objeto
-características de la iluminación (tipo, intensidad,
dirección), propiedades de reflectancia del objeto visto, ...
• Parámetros geométricos: caracterizan la proyección
del objeto en el sensor
- tipo de proyección, posición y orientación del (de los)
sensor(es), distorsiones debidas a la perspectiva, …
Parámetros físicos involucrados

22
• Imágenes fotográficas: luz reflejada
• Imágenes de rango: distancias
• Imágenes de tomografía: densidad de tejidos
• Imágenes infrarrojas: temperatura
Trabajaremos principalmente con imágenes
fotográficas (tanto en niveles de gris y como en color)
Tipos de imágenes

23
Aspectos generales sobre imágenes: Tipos
de imágenes
256 colores/canal
3 canales (RGB)
24 bpp = 8 bpp/canal
256 colores/canal
1 canal (gris)
8 bpp
2 colores/canal
1 canal (gris)
1 bpp

24
Aspectos generales sobre imágenes: Tipos
de imágenes
Escala de grises
256 colores/canal
Valores: {0,1,2,...,255}
[0,255] [0,1]
Monocromática
2 colores/canal
Valores: {0,255}
{0,255} {0,1}

25
Representación de las imágenes
x
y

26
Aspectos generales sobre imágenes: Reconstrucción 3D
• Las formas 3D se pueden obtener a partir de:
– visión estereroscópica (múltiples imágenes 2D)
– movimiento (secuencias de vídeo)
– variaciones de intensidad, textura, enfoque, …
• Estrategia de la Visión Estereoscópica:
– Obtener distintas medidas del mismo objeto (o región)
de la imagen
• Aspectos a considerar:
– Correspondencia: ¿qué píxeles en las diferentes
imágenes son proyecciones del mismo punto 3D?
– Representación: ¿cómo describir el objeto 3D?
– Ruido: ¿cómo minimizar su influencia?

27
Sistemas de Visión Artificial: Definición
• Es el análogo artificial de la visión humana

28
Sistemas de Visión Artificial: Etapas
• Las etapas en un SVA son:
• Adquisición de la imagen
• Preproceso
• Segmentación
•Representación y descripción (extracción de
características)
• Reconocimiento e interpretación

29
• El preproceso es la mejora de la calidad de una imagen para
usarse en etapas posteriores: p. ej. aumento de contraste

30

31
• Segmentación: División de una imagen en regiones
homogéneas que se corresponden con los objetos
contenidos en ella

32
• Extracción de características: Obtención de medidas de
características de los objetos segmentados.
• Color
• Textura
• Forma (área, perímetro, número de agujeros, ...)
• Características invariantes a transformaciones
geométricas.
• Obtención de vectores de características normalizados.

33
Ejemplos de texturas:

34
Ejes mayor y menor
Perímetro
Área
Bounding box

35
Reconocimiento: Consiste en clasificar los objetos de la
escena a partir de características extraídas. Los objetos
vienen descritos mediante vectores de características.

Númerodeagujeros
D e sv ia c ió n típ ic a d e l ra d io d e la fig u ra
0 .1 0 .2 0 .3 0 .4 0 .5
0
1
To rn illo s
Tu e rc a s
A ra n d e la s

36
Escena 3D
Modelos / HipótesisAplicaciones
Imagen(es) Bordes / Regiones / Profundidad
Superficies / Características

37
Ejemplos de reconocimiento (tras segmentar):
Interpretación de imágenes: Un paso más
allá

38
Elementos de un SVA: Sensores
• Cámaras analógicas + tarjetas digitalizadoras
• Cámaras CCD
• Cámaras de infrarrojos
• Escáneres 2D y 3D
• Cámaras digitales de fotografía

39
Elementos de un SVA: relación entre dispositivos

40
Cámaras: modelo “pinhole”
• Se trata de un modelo abstracto de cámara (caja que
contiene un agujero pequeño en ella)
• Modelo sencillo que funciona en la práctica

41
Cámaras: modelo “pinhole”
Los objetos distantes son más pequeños

42
Cámaras: ecuación de proyección
En coordenadas cartesianas, por semejanza de triángulos e ignorando la
tercera componente se obtiene:
(x,y,z)→(f
x
z
,f
y
z
)

43
Cámaras: parámetros y calibración
- Dos tipos de parámetros:
1. Extrínsecos: (posición de la cámara con respecto
al origen de referencia del S.V.A.
2. Intrínsecos: son los parámetros internos de la
cámara, como la distancia focal, el ratio de
aspecto, los ángulos entre ejes, etc.
- Calibración: obtener los parámetros de la cámara
minimizando el error (por ejemplo, mediante mínimos
cuadrados)
- Estrategia general de calibración:
1) Utilizar un objeto (plantilla de calibración)
2) Identificar ciertos puntos de la imagen
3) Obtener la matriz de calibración de la cámara minimizando el error
4) Obtener los parámetros intrínsecos a partir de la matriz de
calibración

44
Elementos de un SVA: Cámaras de visión
• Capturan la imagen proyectada en el sensor y la transmiten al
computador que la almacena, analiza y/o visualiza.
• Sensores CCD y CMOS.
• Estándar de vídeo analógico: Europa y USA
• CCIR y PAL: 625 líneas entrelazadas, 25 cuadros/seg (50
campos/seg)
• RS-170 y NTSC: 525 líneas entrelazadas, 30 cuadros/seg (60
campos/seg)
• Características cámaras visión artificial: obturación,
integración, captura asíncrona, sincronización.
• Tipos cámaras: analógicas y digitales, alta velocidad, alta
definición, cámaras lineales, lineales color, cámaras
inteligentes, cámaras infrarrojas térmicas, ...

45
Elementos de un SVA: Escáner 3D
• Un escáner 3D dispone de un elemento
activo que recorre el objeto a escanear
tomando medidas de las posiciones de los
puntos por los que pasa.
•Se pueden distinguir los digitalizadores
táctiles y los láser.
•El digitalizador 3D láser no tiene contacto
con el objeto durante el muestreo. Utiliza un
método conocido como tiempo de vuelo para
obtener puntos de la superficie del objeto, y
genera una nube de puntos regular de su
superficie.

46
Elementos de un SVA: Problemas con la
captura de imágenes
• La captura de imágenes no está exenta de problemas:
imagen óptica → señal eléctrica continua → señal digital
• El más típico es el ruido que es información no
deseada que contamina la imagen.
• Existen fundamentalmente 2 tipos de ruido:
• Ruido gausiano : produce pequeñas variaciones en la
imagen
• Ruido impulsional (o Salt and Pepper) : el valor del
píxel no tiene relación con el valor ideal sino con el valor de
ruido que toma valores muy altos o bajos

47
Elementos de un SVA: Problemas con la
captura de imágenes
Ruido Impulsivo Ruido Gaussiano

48
Clases fundamentales de procesado de
imágenes
• Podemos distinguir:
• Realzado
• Restauración
• Compresión
• Síntesis
• Análisis

49
Clases fundamentales de procesado de imágenes
• Realzado: mejora de la calidad de una imagen como
preproceso de tratamientos posteriores

50
• Restauración:
- mejora de imágenes degradadas: g(x,y) = H [f(x,y)] + η(x,y)
- Soluciones: filtrado inverso, aproximación algebraica, …

51
• Compresión: reducción de la cantidad de memoria
para representar una imagen

52
• Síntesis:
- crear imágenes de objetos o escenas a partir de
imágenes o primitivas geométricas básicas
- objetivo de la Informática Gráfica (Computer Graphics)

53
• Análisis: extracción de información relevante de una
imagen

54
• Se pueden utilizar diferentes niveles de cómputo
• Nivel punto
• Nivel local
• Nivel global
• Nivel objeto
Algoritmos y aplicaciones sobre imágenes
digitales

55
• Algunas operaciones que hacemos sobre imágenes
producen una salida basándose en los píxeles de la
misma: Nivel punto
• Un ejemplo claro es la umbralización
digitales
fA(x,y) fB(x,y)
(x,y) (x,y)

56
• Una operación a nivel local produce una salida en la
que la intensidad de un punto depende de la vecindad
del correspondiente punto en la imagen de entrada
• Ejemplos pueden ser los filtros espaciales para
detección de bordes, reducción de ruido,...
digitales
fA(x,y)
fB(x,y)
(x,y)

57
• Existen ciertos operadores cuya salida depende de
toda la imagen de entrada
• El histograma o ciertas transformaciones son
ejemplos de operaciones de nivel global
digitales
fA(x,y) fB(x,y)
(x,y)

58
• Muchas aplicaciones de Visión Artificial requieren realizar
operaciones, que permitan extraer características a nivel de
objeto
• P. ej. tamaño, forma, media de intensidad,… deben ser
calculados por un SVA para llegar a reconocerlo
• Otro ejemplo de operación a nivel de objeto es el análisis
de su movimiento. Seguimiento de un móvil en una
secuencia de fotogramas es más sencillo si se analizan sólo
las zonas de movimiento
digitales

59
Sistemas de Visión Artificial: Aplicaciones
• Sistemas de inspección visual automática
• Aplicaciones médicas
• Reconocimiento biométrico
• Análisis de terrenos (remote sensing images)
• Robótica
• Videovigilancia /Aplicaciones militares
• Recuperación de imágenes por contenido (CBIR)
• Domótica
• …

60
• Algunas librerías y herramientas SW:
• Entorno de programación MATLAB para trabajar con
matrices de forma sencilla: Image Processing Toolbox
• Entornos dispositivos (Matrox MIL, Logitech SDK,…)
• Entorno de programación visual Khoros mediante uso de
módulos o toolboxes específicas
• OpenCV, AVIFile, DirectShow, WMF (DXVA2.0),…
• OpenGL
• Programas de usuario: PhotoShop, Paint Shop Pro,
Gimp, Xv, ...
Herramientas SW: imágenes digitales y vídeo

61
• Imagen  cabecera + mapa de bits
• Formatos:
• Imágenes:
TIFF, GIF, BMP, JPEG, RAW (sin formato)...
• Secuencias de imágenes (vídeos):
MPEG, AVI, ...
Ficheros de imágenes (Graphical File Formats)

Tema vision artificial

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (20)

Similar a Tema vision artificial

Similar a Tema vision artificial (20)

Tema vision artificial

Notas del editor