Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
e-Infraestructuras y datos
Víctor Castelo Gutiérrez
Consultor senior. Subdirector de la Fundación Ibercivis
Evento Tmediat-ASPERA: Aceleración de transferencia de ficheros en Ciencias de la Salud
26 Marzo 2015, CNIO
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Agenda
• Redes de investigación
• e-Infraestructuras (eI)
• Infraestructuras de
investigación (RI)
• Casos de RIs y eIs
• Computación
• Datos
• Situación actual
• Nuevos retos
• Iniciativas. Commons
• Conclusiones
• Referencias
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Cambiando el modelo
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Cambiando el modelo
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Cambiando el modelo
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Cambiando el modelo
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
ISP2
ISP3
R&D
EspanixCatnix
ISP1
Intranet de la investigación
Uni.
Uni.
CSIC
NRENs
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
RedIRIS NOVA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
e-Infrastructures
• e-IRG definition: ”The term e-
Infrastructure refers to this new
research environment in which all
researchers - whether working in the
context of their home institutions or in
national or multinational scientific
initiatives - have shared access to
unique or distributed scientific facilities
(including data, instruments, computing
and communications), regardless of
their type and location in the world.”
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
e-Infraestructuras de todo tipo
• NRENs: National Research and
Education Networks, conectadas en
GEANT y a nivel Global
• Computación distribuida
•High Performance Computing
•Grid
•Desktop computing
• Repositorios de datos
• e-Infraestructuras dedicadas (control y
observación remota, visualización, etc)
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Nuevo mapa de ICTSs
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Priorización ESFRI española
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Priorización ESFRI española
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
RI European initiatives
•ESFRI: European Strategy Forum
on Research Infrastructures (RI)
•General RoadMap
•e-IRG (eInfrastructure Reflection
Group)
• eInfrastructures
•RoadMap (future vision, review every
6m)
•White papers (actual vision 6m)
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Visión de la Comisión Europea
Scientific facilities, research communities
. . . . . . .
Linking at the speed of the light
Sharing computers, software and instruments
Sharing and federating scientific data
e-Infrastructures Vision:
to make every researcher digital, through the
development and deployment of e-
infrastructures – achieve the digital ERA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Propuesta de GÉANT ASSOCIATION
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
LHC (Large Hadron Colider) y la red:
Worldwide LHC
Computing
Grid LHC:15
millones
Gigabytes/año
• (15 Petabytes)
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Constante aumento de necesidades
•ESnet- Géant 3x 100 Gbps
20 octubre 2014
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
MareNostrum: BSC-CNS
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Niveles de supercomputación
RES, Red Española de
Supercomputación
PRACE
PaRtnership for Advanced Computing in Europe
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Supercomputadores de la RES
Magerit

Universidad Politécnica de Madrid
MareNostrum
BSC-CNS
Atlante
Instituto Tecnológico de Canarias
La Palma, Instituto Astrofísico de Canarias
Tirant
Universitat de València
CaesarAugusta

Universidad de Zaragoza
Picasso
Universidad de Málaga
Altamira
Universidad de Cantabria
+ CESGA
y CSUC
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
VISIONAIR project
Visualisation infrastructure
“VISION Advanced Infrastructure
for Research”
Many sites
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Otras posibilidades
Computación ciudadana
• Aplicaciones con paralelismo nulo
• Códigos segmentables en periodos
cortos
• Baja necesidad de memoria
• Baja necesidad de Input/Output
• Adecuación licencias de Software
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Ibervicis
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Ciencia Ciudadana
Libro Blanco de la Ciencia Ciudadana
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
La evolución
COMMONS
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Datos
• Ciencia impulsada por los datos,
• Crecimiento exponencial. Big data
(volume, variety, velocity)
• Necesidad de pasar de un modelo
de silos a un modelo de
compartición e interoperabilidad
Foros: Proyecto Eudat , RDA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Situación actual
•No existen e-Infraestructuras de
datos bien establecidas
•Faltan planes de gestión de datos
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Nuevos retos
•Establecimiento de un roadmap de gestión de
datos
• Formatos estandarizados, metadatos
Interoperabilidad
• Integración de RIs, sistemas comunes de
almacenamiento de datos
• caso: Research Accelerator Hubs (ReAcH)
• Open data (OpenAIRE)
• Eco system. Sostenibilidad
Ver recomendaciones e-IRG
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Marco de “Riding the Wave”
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Casos
ELIXIR: Ciencias de la Vida I2PC Instruct: Structural Biology
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
RDA (Research Data Alliance)
• Hacia una compartición abierta de
datos científicos
• Nuevo foro de gran actividad,
crecimiento e impacto
• Uniendo diversas iniciativas
• Grupos de trabajo dedicados
https://www.rd-alliance.org
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
EUDAT
•“pan-European e-Infrastructure for RI data
challenges”
•Servicios y herramientas
•Almacenamiento intercambio, sincronización
(B2DROP)
•Preservación y compartición (B2SHARE)
•Réplica y seguridad (B2SAFE)
•Conexión con EGI y PRACE, PIDs,
(B2STAGE)
•Metadatos y búsquedas (B2FIND)
•Research Communities
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Otras necesidades
• Seguridad
• Adopción de sistemas globales AAI (eduGAIN)
•Uso de PIDs (Persistent Identifiers)
• Transferencias eficientes de datos a alta
velocidad
• Análisis remoto
• Acceso a recursos mediante VRE (Virtual
Research Environments)
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Conclusiones
• La redes de investigación siguen siendo un elemento
vertebrador y de desarrollo
• Con Research infrastructures usando las e-
Infraestructuras cada vez más
• Tendencia a la compartición e integración de recursos, a
nivel global
• Elemento clave: los Datos. Pero todavía queda mucho
trabajo por hacer. Existen iniciativas en marcha
• En definitiva-> Commons: marcos de colaboración y
herramientas adecuadas
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Muchas gracias !!!!
VC@VictorCastelo.es
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Referencias I
• RedIRIS NOVA http://www.redirisnova.es/
• GEANT http://www.geant.net
• Mapa ICTSs 2014 http://www.idi.mineco.gob.es/stfls/MICINN/
Prensa/FICHEROS/2014/Descripcion_MAPA_ICTS.pdf
• e-IRG http://e-irg.eu
• ESFRI http://ec.europa.eu/research/infrastructures/
index_en.cfm?pg=esfri
• BSC http://www.bsc.es
• RES http://www.bsc.es/marenostrum-support-services/res
• PRACE http://www.prace-ri.eu
• Ibercivis http://www.ibercivis.es/
• VISIONAIR http://www.infra-visionair.eu
Víctor Castelo Gutiérrez e-Infraestructuras y datos Workshop ASPERA
Referencias II
• RDA https://rd-alliance.org
• EUDAT project http://www.eudat.eu
• LERU roadmap for Research Data http://www.leru.org/files/
publications/AP14_LERU_Roadmap_for_Research_data_final.pdf
• EC Guidelines on Data Management H2020 http://ec.europa.eu/
research/participants/data/ref/h2020/grants_manual/hi/oa_pilot/h2020-
hi-oa-data-mgt_en.pdf
• “Riding the wave” From High Level Expert Group on Scientific Data:
http://cordis.europa.eu/fp7/ict/e-infrastructure/docs/hlg-sdi-report.pdf
• e-IRG Best Practices for the use of e-Infrastructures by large-
scale research infrastructures, February 2015: http://e-irg.eu/
documents/10920/277005/Best+Practices+for+the+use+of+e-
Infrastructures+by+large-scale+research+infrastructures.pdf

e-Infraestructuras y datos

  • 1.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA e-Infraestructuras y datos Víctor Castelo Gutiérrez Consultor senior. Subdirector de la Fundación Ibercivis Evento Tmediat-ASPERA: Aceleración de transferencia de ficheros en Ciencias de la Salud 26 Marzo 2015, CNIO
  • 2.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Agenda • Redes de investigación • e-Infraestructuras (eI) • Infraestructuras de investigación (RI) • Casos de RIs y eIs • Computación • Datos • Situación actual • Nuevos retos • Iniciativas. Commons • Conclusiones • Referencias
  • 3.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Cambiando el modelo
  • 4.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Cambiando el modelo
  • 5.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Cambiando el modelo
  • 6.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Cambiando el modelo
  • 7.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA ISP2 ISP3 R&D EspanixCatnix ISP1 Intranet de la investigación Uni. Uni. CSIC NRENs
  • 8.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA RedIRIS NOVA
  • 9.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA
  • 10.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA
  • 11.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA e-Infrastructures • e-IRG definition: ”The term e- Infrastructure refers to this new research environment in which all researchers - whether working in the context of their home institutions or in national or multinational scientific initiatives - have shared access to unique or distributed scientific facilities (including data, instruments, computing and communications), regardless of their type and location in the world.”
  • 12.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA e-Infraestructuras de todo tipo • NRENs: National Research and Education Networks, conectadas en GEANT y a nivel Global • Computación distribuida •High Performance Computing •Grid •Desktop computing • Repositorios de datos • e-Infraestructuras dedicadas (control y observación remota, visualización, etc)
  • 13.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Nuevo mapa de ICTSs
  • 14.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Priorización ESFRI española
  • 15.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Priorización ESFRI española
  • 16.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA RI European initiatives •ESFRI: European Strategy Forum on Research Infrastructures (RI) •General RoadMap •e-IRG (eInfrastructure Reflection Group) • eInfrastructures •RoadMap (future vision, review every 6m) •White papers (actual vision 6m)
  • 17.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Visión de la Comisión Europea Scientific facilities, research communities . . . . . . . Linking at the speed of the light Sharing computers, software and instruments Sharing and federating scientific data e-Infrastructures Vision: to make every researcher digital, through the development and deployment of e- infrastructures – achieve the digital ERA
  • 18.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Propuesta de GÉANT ASSOCIATION
  • 19.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA
  • 20.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA
  • 21.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA
  • 22.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA
  • 23.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA
  • 24.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA LHC (Large Hadron Colider) y la red: Worldwide LHC Computing Grid LHC:15 millones Gigabytes/año • (15 Petabytes)
  • 25.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Constante aumento de necesidades •ESnet- Géant 3x 100 Gbps 20 octubre 2014
  • 26.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA MareNostrum: BSC-CNS
  • 27.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Niveles de supercomputación RES, Red Española de Supercomputación PRACE PaRtnership for Advanced Computing in Europe
  • 28.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Supercomputadores de la RES Magerit
 Universidad Politécnica de Madrid MareNostrum BSC-CNS Atlante Instituto Tecnológico de Canarias La Palma, Instituto Astrofísico de Canarias Tirant Universitat de València CaesarAugusta
 Universidad de Zaragoza Picasso Universidad de Málaga Altamira Universidad de Cantabria + CESGA y CSUC
  • 29.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA
  • 30.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA VISIONAIR project Visualisation infrastructure “VISION Advanced Infrastructure for Research” Many sites
  • 31.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Otras posibilidades Computación ciudadana • Aplicaciones con paralelismo nulo • Códigos segmentables en periodos cortos • Baja necesidad de memoria • Baja necesidad de Input/Output • Adecuación licencias de Software
  • 32.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Ibervicis
  • 33.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Ciencia Ciudadana Libro Blanco de la Ciencia Ciudadana
  • 34.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA La evolución COMMONS
  • 35.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Datos • Ciencia impulsada por los datos, • Crecimiento exponencial. Big data (volume, variety, velocity) • Necesidad de pasar de un modelo de silos a un modelo de compartición e interoperabilidad Foros: Proyecto Eudat , RDA
  • 36.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Situación actual •No existen e-Infraestructuras de datos bien establecidas •Faltan planes de gestión de datos
  • 37.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Nuevos retos •Establecimiento de un roadmap de gestión de datos • Formatos estandarizados, metadatos Interoperabilidad • Integración de RIs, sistemas comunes de almacenamiento de datos • caso: Research Accelerator Hubs (ReAcH) • Open data (OpenAIRE) • Eco system. Sostenibilidad Ver recomendaciones e-IRG
  • 38.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Marco de “Riding the Wave”
  • 39.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Casos ELIXIR: Ciencias de la Vida I2PC Instruct: Structural Biology
  • 40.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA
  • 41.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA RDA (Research Data Alliance) • Hacia una compartición abierta de datos científicos • Nuevo foro de gran actividad, crecimiento e impacto • Uniendo diversas iniciativas • Grupos de trabajo dedicados https://www.rd-alliance.org
  • 42.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA EUDAT •“pan-European e-Infrastructure for RI data challenges” •Servicios y herramientas •Almacenamiento intercambio, sincronización (B2DROP) •Preservación y compartición (B2SHARE) •Réplica y seguridad (B2SAFE) •Conexión con EGI y PRACE, PIDs, (B2STAGE) •Metadatos y búsquedas (B2FIND) •Research Communities
  • 43.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Otras necesidades • Seguridad • Adopción de sistemas globales AAI (eduGAIN) •Uso de PIDs (Persistent Identifiers) • Transferencias eficientes de datos a alta velocidad • Análisis remoto • Acceso a recursos mediante VRE (Virtual Research Environments)
  • 44.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Conclusiones • La redes de investigación siguen siendo un elemento vertebrador y de desarrollo • Con Research infrastructures usando las e- Infraestructuras cada vez más • Tendencia a la compartición e integración de recursos, a nivel global • Elemento clave: los Datos. Pero todavía queda mucho trabajo por hacer. Existen iniciativas en marcha • En definitiva-> Commons: marcos de colaboración y herramientas adecuadas
  • 45.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Muchas gracias !!!! VC@VictorCastelo.es
  • 46.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Referencias I • RedIRIS NOVA http://www.redirisnova.es/ • GEANT http://www.geant.net • Mapa ICTSs 2014 http://www.idi.mineco.gob.es/stfls/MICINN/ Prensa/FICHEROS/2014/Descripcion_MAPA_ICTS.pdf • e-IRG http://e-irg.eu • ESFRI http://ec.europa.eu/research/infrastructures/ index_en.cfm?pg=esfri • BSC http://www.bsc.es • RES http://www.bsc.es/marenostrum-support-services/res • PRACE http://www.prace-ri.eu • Ibercivis http://www.ibercivis.es/ • VISIONAIR http://www.infra-visionair.eu
  • 47.
    Víctor Castelo Gutiérreze-Infraestructuras y datos Workshop ASPERA Referencias II • RDA https://rd-alliance.org • EUDAT project http://www.eudat.eu • LERU roadmap for Research Data http://www.leru.org/files/ publications/AP14_LERU_Roadmap_for_Research_data_final.pdf • EC Guidelines on Data Management H2020 http://ec.europa.eu/ research/participants/data/ref/h2020/grants_manual/hi/oa_pilot/h2020- hi-oa-data-mgt_en.pdf • “Riding the wave” From High Level Expert Group on Scientific Data: http://cordis.europa.eu/fp7/ict/e-infrastructure/docs/hlg-sdi-report.pdf • e-IRG Best Practices for the use of e-Infrastructures by large- scale research infrastructures, February 2015: http://e-irg.eu/ documents/10920/277005/Best+Practices+for+the+use+of+e- Infrastructures+by+large-scale+research+infrastructures.pdf