El documento describe un sistema de seguimiento de vehículos utilizando visión estereoscópica que permite detectar vehículos a mayores distancias que los sistemas 2D. El sistema usa dos cámaras colocadas a los lados de la carretera para obtener imágenes estereoscópicas y calcular las distancias y velocidades de los vehículos con mayor precisión. El objetivo es detectar situaciones de riesgo a distancias suficientemente grandes como para dar tiempo de reacción y evitar posibles accidentes.

1. HANDS-ON IMAGE PROCESSING 2010 (HOIP’10)
Seguimiento de vehículos con visión
artificial estereoscópica
Zamudio, 16 y 17 de Noviembre de 2010
Josep Umbert
1
Seguimiento de vehículos con Visión Artificial estereoscópica

2. Índice
1 Introducción
2 Visión estereoscópica
3 Comparación de la detección 2D y 3D
4 Características y calibración
5 Ventajas y caso práctico
2
Seguimiento de vehículos con Visión Artificial estereoscópica

3. Introducción
Objetivo
Mejorar el seguimiento de vehículos para detectar
situaciones de riesgo, calculando sus velocidades y
distancias a ciertos puntos conflictivos.
Cuando el vehículo todavía se encuentran a una distancia
considerable y hay tiempo de reacción.
Avisar al implicado y a terceros de las situaciones anómalas
detectadas para evitar posibles accidentes.
Características de la vía
Inicialmente pensado para vías con un solo carril por
sentido ya que presentan más posibilidades de accidente.
Una propuesta
Utilizar un sistema estereoscópico de cámaras que permita
trabajar con suficiente precisión, a distancias más grandes
que con las que trabajan los sistemas 2D.
3
Seguimiento de vehículos con Visión Artificial estereoscópica

4. Introducción.
¿Qué son distancias grandes? Algunos datos.
Tiempos y Distancias de Reacción.
Se acepta comúnmente en tráfico que el tiempo de reacción
medio ante señales de UNA PALABRA ronda los 2.6 segundos
(Tiempo que le lleva al conductor reconocer la señal y responder).
Para un vehículo a 160 km/h se traduce en una distancia
recorrida, mientras el cerebro procesa la información, de 115 m.
Distancia de Detención.
Necesitamos aproximadamente 110 metros para detener un
vehículo que circula a 160 km/h en buenas condiciones, es decir,
con un coeficiente de adherencia cercano al 0.8.
Distancia total Reacción + Detención
A 160 Km/h 115 m + 110 m = 225 m del punto de riesgo
A 120 Km/h 87 m + 83 m = 170 m
A 100 Km/h 72 m + 70 m = 142 m
4
Seguimiento de vehículos con Visión Artificial estereoscópica

5. Introducción.
Instalación
Una cámara a cada lado de la vía, enfocando en el mismo
sentido de la marcha, para obtener una visión
estereoscópica de la vía.
Al pretender detectar adelantamientos, el área de visión
de las cámaras abarca tanto el carril de los que se acercan
como de los que se alejan.
La cámara se coloca a una altura de entre 8 y 15 metros
del suelo.
A tener en cuenta que cuanta más altura de la cámara más
afectan las vibraciones (viento, etc.)
Cámaras motorizadas para facilitar el ajuste a distancia.
Armario con PC industrial único a pie de cámaras.
5
Seguimiento de vehículos con Visión Artificial estereoscópica

6. Visión estereoscópica
ol
ntr
Tramo bajo control
120
co
ajo
Al abarcar con las cámaras los dos
ob
carriles se contemplan los
am
adelantamientos por el carril contrario
Tr
CRUCE CERCANO
! DISMINUYA LA VELOCIDAD
Centro
de
Control
6
Seguimiento de vehículos con Visión Artificial estereoscópica

7. Detección 2D
Método de Detección caso 2D.
Se extraen los vehículos Elementos que cambian de un
fondo calculado.
Se determina la posición del vehículo a través de una matriz
de calibración.
Se buscan los mismos objetos en diferentes imágenes
consecutivas, calculando el movimiento 2D. f1
Gracias a la calibración previa se aproxima la velocidad t
entre dos “frames consecutivos”.
f2
Comentarios
Un problema frecuente son las sombras y cambios de luminosidad e1
provocada por elementos externos a la carretera.
e2
Movimiento de las sombras de nubes.
Sombras de otros vehículos. Luces de otros vehículos.
Pueden confundirse vehículos muy próximos entre sí.
La falta de una tercera dimensión imposibilita cuantificar la distancia
real a elementos que no estén sobre la carretera calibrada (pájaros).
Mejor para distancias cortas.
7
Seguimiento de vehículos con Visión Artificial estereoscópica

8. Detección 3D. Distancia
C
Método de Detección caso 3D.
A partir de dos imágenes del mismo
instante temporal, se obtiene la distancia
hasta cada objeto sin necesidad que estén en
movimiento (vale para vehículos parados) Z
Se añade una dimensión. A las coordenadas
“X” e “Y” de cada píxel se añade una
coordenada “Z” de profundidad. Y
La coordenada “Z” se calcula como Cámara izquierda Cámara derecha
intersección de las líneas discontinuas X
correspondientes al mismo punto en ambas
imágenes.
Dado que las líneas no se cortan
exactamente, se aplica un algoritmo para
determinar el punto C.
d
8
Seguimiento de vehículos con Visión Artificial estereoscópica

9. Detección 3D. Velocidad
C
Método de Detección caso 3D.
Determinada la distancia Z en cada
“frame”, el cálculo de velocidades
es inmediato, partiendo del tiempo Z
entre “frames”.
∆Z
Velocidad = ------
Y
∆t Cámara izquierda Cámara derecha
Mayor precisión si se puede usar X
dos frames no consecutivos.
Requiere sincronización de las dos
cámaras para tratar parejas de
imágenes realizadas en el mismo
instante.
d
9
Seguimiento de vehículos con Visión Artificial estereoscópica

10. Características
Resumen de Características
Cámaras:
Dos cámaras de alta resolución de 1600 x 1200 pixels.
Frame rate = 30 fps
Óptica motorizada con control de Iris, Zoom, Enfoque.
Conexión con Punto de Control: Gigabit-Ethernet.
Carcasas estancas con protección IP 66.
Colocación de la cámaras sobre poste, a los laterales de la
vía.
Punto de Control
PC industrial.
Procesador: Intel Core2Duo.
Comunicaciones con Centro control:
Conexión: Ethernet / FO.
Protocolos transporte y red: TCP/IP
10
Seguimiento de vehículos con Visión Artificial estereoscópica

11. Calibración
Calibración
Etapa básica para el buen funcionamiento
Calibración óptica (deformaciones de la lente)
Calibración de perspectiva.
Calibración de cámaras entre ellas:
Posición relativa.
Conjunto de puntos de referencia de la imagen que son el
mismo en las dos cámaras.
Cámara izquierda Cámara derecha
11
Seguimiento de vehículos con Visión Artificial estereoscópica

12. Ventajas
Ventajas del sistema 3D
Da mayor robustez al sistema
Aumenta la precisión en la medida de la velocidad con
respecto a sistemas 2D.
Aplicable para distancias más grandes (80-300 m).
Posibilita el cálculo de distancias y velocidades de
vehículos próximos entre si.
Permite calcular:
La distancia entre vehículos.
El ancho del vehículo y la altura de gálibo.
12
Seguimiento de vehículos con Visión Artificial estereoscópica

13. Caso práctico
Proyecto
Fondo Europeo de Desarrollo Regional y Ministerio de
Fomento
Estudia nuevas tecnologías para la mejora integral de la
Seguridad Vial y el Diseño de Intersecciones
Propone que entre la intersección y el inicio de la detección debe
haber 185 m para coches circulando a 100 Km/h y 350 metros
para vehículos articulados.
Propone un sistema de detección y aviso a los conductores
tanto al de la vía principal como a los que acceden a ella desde la
intersección.
13
Seguimiento de vehículos con Visión Artificial estereoscópica

14. Caso práctico
Lugar
En una vía en la que se pueda alcanzar una velocidad
importante, antes de acceder a una intersección.
Detección
Sobre la vía principal se detecta:
La posición del vehículo.
La velocidad de aproximación.
En el caso de tener control sobre la vía secundaria
Detectar si hay un vehículo que se incorpora (con independencia
de si ha realizado el stop).
14
Seguimiento de vehículos con Visión Artificial estereoscópica

15. Caso práctico
Avisos a los conductores
Avisar al conductor que hay un vehículo en la vía
secundaria el cual, probablemente, se incorporará a
velocidad baja.
Avisar a los vehículos que pretenden entrar en el cruce en
sentido transversal que se aproxima uno a alta velocidad.
Señalización de los Avisos
Los avisos se realizan a través de:
Paneles de mensajes variables en la vía principal
Paneles “ocultos” en la vía secundaria
15
Seguimiento de vehículos con Visión Artificial estereoscópica

16. HANDS-ON IMAGE PROCESSING 2010 (HOIP’10)
Gracias por su atención
Seguimiento de vehículos con visión
artificial estereoscópica
16
Seguimiento de vehículos con Visión Artificial estereoscópica

17. Visión estereoscópica
ol
ntr
Tramo bajo control
120
co
ajo
ob
Al abarcar con las cámaras los dos
am
carriles se contemplan los
Tr
adelantamientos por el carril contrario
160 Km/h. CRUCE CERCANO
! DISMINUYA LA VELOCIDAD
Centro
de
Control
17
Seguimiento de vehículos con Visión Artificial estereoscópica