1. Sistema de Detección de
Alarmas de Videovigilancia
Basado en Análisis
Semántico
Carlos Baladrón Zorita
Universidad de Valladolid
cbalzor@ribera.tel.uva.es

2. Índice
• Introducción
• Proyecto HuSIMS
• Detección de Alarmas Basada en Análisis
Semántico
• Conclusiones

3. Introducción

4. Introducción
• Aumento progresivo de la presencia de
sistemas de videovigilancia
– Presentes en entornos donde la seguridad es
crítica: bancos, instalaciones militares, etc.
– Bajada del precio del hardware
– Sin embargo el aumento de la presencia de
cámaras no se ve acompañado por operadores
que las controlen
– Se abandona la función preventiva
– Muchos son desatendidos y con fin de obtención
de pruebas o simplemente disuasorios

5. Introducción
• Una solución es la utilización de inteligencia
artificial para el análisis de las señales de
videovigilancia
• Se abre la puerta al despliegue de sistemas de
videovigilancia de areas amplias
• Algunos proyectos en marcha
– Chicago OEMC
– Londres Surveillance System

6. Introducción
• Inteligencia artificial aplicada al análisis de
imágenes de videovigilancia:
– Detección de movimiento
– Identificación de objetos
– Identificación de comportamientos
– Identificación de personas
– Combinación de datos de diferentes cámaras

7. Proyecto HuSIMS

8. Proyecto HuSIMS
• HuSIMS = Human SItuation Monitoring
System
• Proyecto Celtic/Eureka, financiado en España
por el Ministerio de Industria, Turismo y
Comercio dentro del plan Avanza
• Objetivo: diseñar una red de videovigilancia…
– automatizada
– altamente flexible
– de dimensiones metropolitanas
– que pretende detectar alarmas y situaciones
anómalas y/o potencialmente peligrosas de muy
diversa índole, incluyendo incendios, variedad
de accidentes de tráfico, actos vandálicos, etc.

9. Proyecto HuSIMS
• Puntos clave del sistema HuSIMS:
– Maximizar el número de sensores desplegados
• Minimizar el procesado y la inteligencia en la red de
cámaras
• Minimizar la cantidad de datos a transmitir por la red
– …por lo tanto:
• La detección de alarmas se basa en los parámetros del
movimiento
– Distribución de alarmas en tiempo real
– Utilizar soluciones de conectividad altamente
flexibles

10. Proyecto HuSIMS
Segmento 1: Red de Sensores
‐ Red wireless tipo malla
‐ Tolerante a fallos
‐ Dimensión metropolitana
‐ Despliegue áltamente flexible
‐ Detección de movimiento
Segmento 2: Centro de control
Segmento 3: Red de Distribución de
Alarmas ‐ Recogida e integración de datos
‐ Interfaz para operadores
‐ Soporte a especialistas humanos
‐ Detección de alarmas
‐ En tiempo real y en movilidad
‐ Procesado por tres motores de
‐ Con video en streaming bajo
demanda inferencia diferentes y
complementarios

11. Detección de Alarmas

12. Detección de Alarmas
• Con el fin de minimizar el procesado en los
sensores/cámaras, al centro de control sólo se
envían los parámetros de movimiento de los
objetos detectados
– Las cámaras procesan las imágenes y extraen los
parámetros del movimiento
– El centro de control aplica sobre esos datos los
algoritmos de detección de alarmas
• Tres motores de procesado en paralelo:
– Semántico
– Estadístico
– Fusión de datos

13. Detección de Alarmas
• Detección de alarmas basada en análisis
semántico:
– Se basa en la utilización de los parámetros de
movimiento de los objetos (lugares, velocidades,
tamaño, etc.) para construir un modelo de
“caminos, fuentes y sumideros” del escenario
vigilado:
• Caminos son las zonas de la imagen por las que
habitualmente transitan objetos
• Fuentes y sumideros son las zonas de la imagen por las
que habitualmente aparecen/desaparecen objetos

14. Detección de Alarmas
Raw
Pixel
Data Identificación
Cámara de Objetos
móviles
SENSOR XML/Objetos
Aprendizaje Operación
XML Ontología
Objetos
Preprocesad Enriquecido Razonador
o JENA Semántico
Identificación Framework
de Caminos Semántico Caracterización
Modelo de Semántica de escena
Caminos
CENTRO DE CONTROL

15. Detección de Alarmas
• Identificación de caminos:
– Se estudian las trayectorias de los objetos móviles.
Aquellas que aparecen de forma recurrente se
consideran caminos
• Identificación de fuentes/sumideros
– Se almacenan los puntos en los que aparecen y
desaparecen los objetos. El conjunto de puntos
obtenido se procesa con un algoritmo de clustering.
Las áreas de la escena contenidas en cada cluster son
las fuentes/sumideros
• Los caminos en condiciones normales unen
fuentes y sumideros

16. Detección de Alarmas

17. Detección de Alarmas
• Interpretación semántica:
– La ontología es un modelo de conocimiento específico
de un dominio dado (tráfico, control de personas,
etc.)
• Se especifican clases de objetos y las relaciones entre ellos.
 Ej.: Se define la clase “persona” y las relaciones “es padre de”,
“es hijo de”, “es hermano de” y “es tío de”. El individuo “Juan” de
la clase persona puede estar relacionado con el individuo “Pedro”
de la misma clase a través de la relación “es hijo de”.
• Se puede razonar sobre la ontología para extraer
información implícita
 Si “Juan” es hijo de “Pedro”, y “Pedro” es hermano de “Javier”,
un razonador semántico puede determinar que “Javier” es tío de
“Juan” y “Pedro” es padre de “Juan”.

18. Detección de Alarmas

19. Detección de Alarmas
• Interpretación semántica:
• Dependiendo de las características de los objetos, y de
acuerdo a cómo define la ontología de cada dominio, a los
caminos, fuentes/sumideros y objetos se les va asignando
un significado (semántica).
• Por ejemplo, en el dominio del tráfico:
 Dependiendo de su velocidad y tamaño medios, un objeto será un
coche o un peatón
 Dependiendo de la velocidad media de los objetos que circulan
por un camino, el camino será una calzada o una acera
 Una zona de intersección entre calzada y acera será un paso de
peatones
 Una fuente y sumidero puede ser el extremo de la imagen, la
puerta de un garaje, o un semáforo (los coches parados dejan de
considerarse objetos en movimiento)

20. Detección de Alarmas
• Detección semántica de
alarmas:
– La ontología especifica
igualmente las
condiciones de las
alarmas:
• Un objeto se identifica
por tamaño y velocidad
media como un coche.
• Está parado en una acera
‐> salida de vía

21. Conclusiones

22. Conclusiones
• El sistema de videovigilancia presenta varias
ventajas que permiten un despligue a gran
escala en un área metropolitana:
– Coste contenido de los sensores (baja capacidad
de procesado)
– Red de tipo malla
– Detección y distribución automatizada de alarmas

23. Conclusiones
• El sistema de detección de alarmas basado en
semántica presenta ventajas:
– Modelo de conocimiento detallado del dominio:
las alarmas se disparan a través de conceptos con
significado, existe gran cantidad de información
sobre las mismas
– Información de alto nivel, entendible por
especialistas humanos, que permite bajar el
tiempo de respuesta
– Permite la implementación de lógica semántica
para automatizar respuestas a alarmas

24. Conclusiones
• …Pero también desventajas:
– El modelo de conocimiento tiene que estar
implementado por un humano
– La eficiencia del sistema depende de la calidad del
modelo
– La capacidad de respuesta del sistema se limita a los
dominios modelados
• Si la ontología modela el dominio de los accidentes de
tráfico, el sistema no puede detectar actos de vandalismo
• La combinación de este motor de detección con
otros complementarios permite sobreponerse a
estas desventajas

25. Sistema de Detección de
Alarmas de Videovigilancia
Basado en Análisis
Semántico
Carlos Baladrón Zorita
Universidad de Valladolid
cbalzor@ribera.tel.uva.es