El documento describe el gran volumen de datos generados en el Gran Colisionador de Hadrones (LHC) en el CERN. El LHC y sus cuatro experimentos producen entre 100 y 150 petabytes de datos por año. Estos datos se almacenan y procesan en una red global de computación (GRID) que incluye un nivel central (Tier-0) en el CERN y varios niveles regionales (Tier-1 a Tier-3). El modelo está orientado a la ubicación de los datos para llevar los trabajos de análisis y simulación a los datos en lugar

1. Big Data @ LHC
Isidro González Caballero

2. Big Data @ LHC
Isidro González Caballero
Very Large Data

3. CERN: El mayor laboratorio del mundo en
Física de Partículas
 Fundado en 1954
 21 estados miembros
 Incluyendo España!
 ~10.000 científicos de 113
países
 No todos están
físicamente en el CERN

4. LHC: El gran colisionador de hadrones
 Los 4 experimentos
produjeron ~100 PB
en el Run-I
 En el Run-2 habrá
más de 150 PB

5. El detector CMS
Canales de
medida: 100M
En total cada experimento produce
15-30 PB/año
Se almacenan 100 - 1000 colisiones
cada segundo
Lo que supone 100-1500 MB/s
40M colisiones/s
1 PB/s de datos

6. Una colisión (suceso)

7. Una colisión (suceso)

8. Análisis de datos: el GRID
 El 80% de la computación de CMS se hace fuera del CERN en
centros repartidos por todo el mundo utilizando tecnologías
GRID
 Modelo jerárquico basado en MONARC y coordinado
por el WLCG
 Un Tier-0 en el CERN  24 x 7, workflows estructurados
 10-15 Tier-1 en países distintos  24 x 7, workf. Estruct.
 ~30 Tier-2 por experimento  8 x 5, workflows mixtos
 Infinidad de Tier-3, normalmente en las instituciones
 Conexiones de 10 Gbps entre Tier-0 y Tier-1
 En la Universidad de Oviedo hemos instalado un Tier-3 (150
TB y 160 cores) y participamos en el Tier-2 español

9. Modelo orientado a los datos
 El modelo está dirigido por la
ubicación de los datos
 Se colocan los datos de manera
organizada
 Se llevan los jobs a los datos
 Las mejoras en la conectividad WAN
permiten usar herramientas AAA (Any
data, Any time, Any where)
 Para storageless clusters y failover
 Herramientas “inteligentes” para el
movimiento de datos (usando
información de accounting)
 La distribución de metadatos y
datos de calibración se hace
utilizando proxies: FroNTier/Squid,
CVMFS

10. Almacenamiento de datos en el CERN
 CERN Advance STORage manager
(CASTOR)
 Sistema de almacenamiento jerárquico
 Soporta accesos RFIO, XROOT y GridFTP
 Sistema mixto disco-cinta
 Cinta: Almacenamiento a largo plazo
 Disco: Datos “recientes”
 Run-I: 88 PB en cinta + 13 PB en disco
 Run-2: 150 PB de cinta y 160 PB raw
(60 PB reales) de disco
 Podría llegar hasta 10 GB/s
 Hay 100.000 (+ 20.000 en Wigner)
cores

11. simulación
reconstruction
análisis
Análsis
interactivo
Análisis
físico no
interactivo
detector
event
summary
data
raw
data
Reprocesado
de sucesos
Simulación
de sucesos
Objetos de análisis
Filtrado de suc.
(Selección &
reconstrucción)
Datos
procesados
les.robertson@cern.ch

12. simulación
reconstruction
análisis
Análsis
interactivo
Análisis
físico no
interactivo
detector
event
summary
data
raw
data
Reprocesado
de sucesos
Simulación
de sucesos
Objetos de análisis
Filtrado de suc.
(Selección &
reconstrucción)
Datos
procesados
les.robertson@cern.ch
Tier-2
Tier-2
Tier-1
Tier-3
Tier-1
Tier-2
Tier-0
2 millones de
jobs diarios

14. Modelos de computación más flexibles
 Las diferencias entre niveles son cada vez
menos de función
 Relacionadas con la disponibilidad
Machine development
 Se usaran los distintos Tier’s según las necesidades
 Se empiezan a usar recursos oportunísticos
 HLT Farm cuando no es necesaria
 Clouds institucionales y comerciales

17. Finalizando
 La física de partículas ha sido una de las áreas científicas que más ha
empujado los límites de la computación de grandes cantidades de
datos en el pasado
 El análisis científico de los datos solo es una parte de las tareas
computacionales exigentes que se hacen:
 Tratamiento de metadatos, sensores, usuarios, ….
 La experiencia y las inercias de muchos años dan lugar a patrones y
estrategias bien establecidos en el tratamiento de los datos
 Algunos de estos se están empezando a replantear con vistas a los
progresivos incrementos en el volumen de datos de los futuros upgrades