1. I NTRODUCCI ON A GRI D
INTRODUCCION GRID
Y e-CI ENCI A
Y CIENCIA
José SALT
I FI C (Valencia)
José IFIC
2. INTRODUCCION A GRID Y E-CIENCIA
Contenido:
1.- Introducción.
2.- Definición de computación GRID.
3.- Funcionalidad y caracteristicas del GRID
4.- Arquitectura de un sistema GRID: ingredientes
básicos
5.- Middleware
6.- Definición de e-Ciencia. Iniciativas
7.- Modelos de e-Ciencia por paises
8.- Areas temáticas de e-ciencia
9.- Interés por el GRID y la e-Ciencia en las
empresas
10.- IRISGRID: hacia un modelo de GRID nacional
José Salt 2
3. INTRODUCCION A GRID Y E-CIENCIA
1.-Introducción
-Plan del curso
-Introducción histórica del GRID
José Salt 3
4. INTRODUCCION A GRID Y E-CIENCIA
PLAN DEL CURSO:
El curso tiene 3 partes :
– Introducción a los conceptos básicos y características del
GRID y de e-Ciencia con atención especial a los
proyectos y a la Red.
– Aprendizaje del funcionamiento del GRID Middleware
orientado a usuarios finales
– Resaltar la importancia de las aplicaciones científicas
utilizando tecnologías GRID
José Salt 4
6. INTRODUCCION A GRID Y E-CIENCIA
Introducción Histórica
Agregación de recursos:
– Sistema SHIFT (“granjas” RISC Unix, L.Robertson, CERN)
– Clusters de PCs (Sistemas Beowulf, “fábricas” de PC...)
Recursos distribuidos compartidos:
– Sistema Condor (M.Livny)
• gestión de tiempo inactivo en sistemas Linux de la red local
– Red Entropía, Programa SETI
– Sistemas “Peer to Peer”
1995: Supercomputing ’95
– Experiencia I-WAY: 17 centros USA conectados a 155Mbps
– Primeras iniciativas Grid:
• NASA Information Power Grid
• Iniciativa de la NSF con los centros NCSA y SDC
• Advanced Strategic Computing Initiative (DoE)
José Salt 6
7. INTRODUCCION A GRID Y E-CIENCIA
La era de las los clusters/granjas/fabricas de
PCs
– Nodos con CPUs (duales)
– Disco local + acceso a servidores (NFS-NAS, AFS)
– Limitacion:
• Ínterconexión de red: Gigabit casi popular, pero Latencia baja
requiere Myrinet o similar, solución mas costosa
• Perfectos para HTC (High Throughput Computing)
• Las aplicaciones HPC (High Performance Computing) necesitan
adaptarse:
– La memoria no está compartida
– Las herramientas: PVM, MPI
• Instalación y control: funciona bien para cientos de ordenadores
“homogeneos”, pero la pregunta es ¿”escala”?
... Y además de forma distribuida mediante la conexión de
clusters
– El peso recae en la Red
– ¿se puede alcanzar la MetaComputación?
José Salt 7
8. INTRODUCCION A GRID Y E-CIENCIA
CERN: donde nació la Web
José Salt 8
EL Papel del CERN
9. INTRODUCCION A GRID Y E-CIENCIA
1989: primera propuesta,
CERN, Tim Berners-Lee y
Robert Cailliau
Primeros servidores web
en laboratorios de Física
europeos
1991: un prototipo del
sistema WWW suministrado
para la comunidad de HEP
» Tim Berners-Lee
José Salt 9
10. INTRODUCCION A GRID Y E-CIENCIA
LHC : Large Hadron Collider (2007)
Para la investigación en Física
de Partículas, Europa está
construyendo un nuevo
acelerador: Large Hadron
Collider (LHC). El objetivo más
importante es encontrar el bosón
de Higgs (dota de masa a las
demás partículas).
El LHC es...
*un colisionador proton-proton
trabajará a energias de 14 TeV
* su luminosidad será 1034cm-2s-1
José Salt
10
11. INTRODUCCION A GRID Y E-CIENCIA
2- Definición de computación GRID
-¿qué es el GRID Computing
-¿qué NO es el GRID Computing
- Simil con la Red Eléctrica
José Salt
11
12. INTRODUCCION A GRID Y E-CIENCIA
¿qué es el GRID Computing?
Definición: la computación GRID es una evolución de
la computación distribuida: su base está en
tecnologías que permiten a las organizaciones
compartir recursos informáticos para hacer frente a
diferentes tipos de necesidades . En general, dichos
recursos están dispersos geográficamente y
conectados por Internet pero dicha red proporciona la
impresión de estar trabajando con un único sistema
informático virtual
Computación distribuida, paralelismo y GRID: revisión
de conceptos y establecimiento de conceptos y
significados
intenta resolver problemas actuales de la Sociedad de la
Información:
– Acceso rápido a bases de datos/almacenamiento...
– Proporcionar su procesamiento y análisis utilizando potencia de
cálculo distribuida y potentes facilidades de visualización...
– Mediante la utilización de la red
José Salt
12
13. INTRODUCCION A GRID Y E-CIENCIA
¿Qué NO es el GRID Computing?
•NO es una mejora de INTERNET (no está al mismo nivel)
•NO es un proyecto sino un conjunto de tecnologías que
permitirán el acceso de los usuarios de la red a recursos
informáticos distribuidos
•NO es un cluster o granja de ordenadores
• El desarrollo de la gran mayoría de proyectos científicos
requiere la colaboración en tareas de computación
distribuida a escala global.
• Areas Científico-tecnológicas: Física de Partículas
Elementales, ,Biomedicina/ Diagnóstico Médico, Bioinformática,
Observación de la Tierra, Química Computacional, Análisis de
observaciones en Astrofísica
José Salt
13
14. INTRODUCCION A GRID Y E-CIENCIA
Simil del GRID Computacional con
• Red Eléctrica
la Red Eléctrica
– Plantas de producción de
electricidad
– Distribución jerárquica del
flujo eléctrico
– Tendidos eléctricos
– Usuario final: acceso a las
prestaciones de la
electricidad
• GRID Computacional
– Grandes centros de
almacenamiento de
datos/potencia de cálculo
– Distribución jerárquica
– Red Internet
– Usuario Final: acceso a las
prestaciones informáticas
José Salt
14
15. INTRODUCCION A GRID Y E-CIENCIA
- recientemente, cuando se necesitaban recursos de computación
importantes se compraba un ordenador adecuado a esa demanda de
recursos y sólo para cubrir esa demanda;
- situación actual: se tienen generadores mas o menos grandes pero
que no están interconectados entre ellos ( = redes de Alta Tensión
nacionales)
- perspectiva: la capacidad de cálculo que poseemos – a nivel
individual, en las Empresas, centros universitarios o de
investigación, etc – no se está utilizando durante todo el tiempo;
- se podría vender a un Gestor de GRID global para que la utilice
el que la necesite
- cuando utilicemos potencia de cálculo no nos importará de
donde viene ni de la infraestructura que hay detrás ( como en el
caso del servicio de electricidad)
José Salt
15
16. INTRODUCCION A GRID Y E-CIENCIA
3.- Funcionalidad y características
del GRID
-¿cómo funciona el GRID?
- Características del GRID
José Salt
16
17. INTRODUCCION A GRID Y E-CIENCIA
¿cómo funciona el GRID?
El GRID se fundamenta esencialmente en un
software, llamado middleware , que asegura la
comunicación transparente entre diferentes
ordenadores repartidos geograficamente
El segundo ingrediente es un motor de búsqueda
que no solo encuentra los datos que necesita el
usuario, sino también las herramientas para
analizarlos y la potencia de cálculo necesaria para
utilizarlas;
Al final del proceso el GRID distribuirá las tareas de
computación a cualquier lugar de la red en la que
haya capacidad disponible y enviará los resultados a
los usuarios
José Salt
17
18. INTRODUCCION A GRID Y E-CIENCIA
Este funcionamiento se sostiene gracias a 5 pilares básicos:
1)Posibilidad de compartir recursos
- acceso directo a software, recursos informáticos y datos remotos /
acceso y control de otros dispositivos (sensores, telescopios, etc).
- dominios diferentes y ,muchas veces, heterogeneos, diferentes políticas
de acceso y de seguridad
- ventaja de compartir recursos/ mecanismos de confianza entre usuarios
2) Seguridad – acceso seguro
a) Autenticación: establecimiento de un mecanismo para establecer la
identidad de un usuario/ recurso concreto
b) Autorización : procedimiento para determinar si una operación es
consistente con las relaciones que se han definido previamente de cara a
compartir recursos
José Salt
18
19. INTRODUCCION A GRID Y E-CIENCIA
3) Uso eficiente de recursos
- en un sistema que tenga usuarios con sus trabajos en cola, se
necesitan mecanismos para repartir el trabajo de forma automática y
eficiente
entre una gran cantidad de recursos reduciendo notablemente el tiempo
de
espera = MIDDLEWARE
4) Redes de comunicaciones fiables
La existencia de conexiones de alta velocidad es lo que hace posible el
GRID a escala Mundial
5) Standards ‘abiertos’
Los llamados Open Source contribuyen de forma evidente y esencial al
desarrollo del GRID ya que se obtiene beneficio de todos los agentes
participantes. Importancia del GGF (Global GRID Forum) OGSA= Open
GRID Services Architecture
Globus Toolkit : es una herramienta de código abierto desarrollado por
Globus Alliance José Salt
19
20. INTRODUCCION A GRID Y E-CIENCIA
4.- Arquitectura de un sistema
GRID: Ingredientes básicos
José Salt
20
21. INTRODUCCION A GRID Y E-CIENCIA
El GRID posee una arquitectura en capas
Las capas altas están orientadas
A los usuarios
Las capas bajas están orientadas a
La red y al hardware
José Salt
21
22. INTRODUCCION A GRID Y E-CIENCIA
La Capa de Red
Responsable de asegurar los recursos que forman el GRID
Comunicación
– Protocolos de Internet: IP, DNS, routing, etc.
La Capa de Recursos
Grid Resource Allocation Management (GRAM)
–Asignación remota, reserva, monitorización, control de recursos de computación
Protocolo GridFTP (extensión de FTP)
–Acceso a datos y transporte de alto rendimiento
Grid Resource Information Service (GRIS)
–Acceso a la información sobre la estructura de los recursos y su estado
Reserva de red, monitorización, control
Todo construido sobre la capa de conectividad: GSI IP
José Salt
22
23. INTRODUCCION A GRID Y E-CIENCIA
La “capa intermedia”
Del mismo modo que Internet es posible gracias a
la existencia de un estándar como el protocolo
TCP/IP, y el WWW gracias al protocolo http y el
lenguaje HTML, las Mallas cuentan con un
estándar “de facto”: el middleware Globus
– Desarrollado por ANL (I.Foster) y USC (C.Kesselman)
– Arquitectura en “capas”
– Protocolos:
• Seguridad: GSI
• Gestión de Recursos: GRAM
• Información: GRIS
• Transferencia de información: GridFTP
José Salt
23
24. INTRODUCCION A GRID Y E-CIENCIA
Capa de Aplicaciones y ‘Serviceware’
Aplicaciones de los usuarios, portales y
herramientas de desarrollo
Servicios de metadirectorios (Index Servers)
– Vistas especificas sobre colecciones dinámicas de
recursos construidas por una comunidad
– Gestores de recursos (Resource Brokers)
– Descubrimiento de recursos y asignación
Catálogos de replicas de datos
Servicios de replica
Co-reserva y co-asignación de servicios
Etc.
José Salt
24
25. INTRODUCCION A GRID Y E-CIENCIA
5.- Middleware
- Definición
- Componentes del Middleware
- Evolución del middleware
- Situación y Problemas actuales
José Salt
26
26. INTRODUCCION A GRID Y E-CIENCIA
¿qué es el Middleware?
Es el rasgo diferencial respecto de otras soluciones de
informática distribuida
Finalidad: ‘virtualizar’ los recursos de computación’
Sus funciones son:
– Encontrar un lugar adecuado para ejecutar las tareas solicitadas por el
usuario
– Optimiza el uso de recursos que pueden estar dispersos
– Organiza acceso eficiente a los datos
– Autenticación de diferentes elementos
– Se ocupa de las políticas de asignación de recursos
– Ejecuta tareas
– Monitoriza el progreso de los trabajos en ejecución
– Gestiona la recuperación del sistema frente a fallos ( Fault Tolerance)
– Avisa del final de la tarea y devuelve resultados.
José Salt
27
27. INTRODUCCION A GRID Y E-CIENCIA
Los sistemas y recursos implicados pueden ser heterogeneos
(sistemas operativos/ plataformas hardware/sistemas de distintas
empresas)
Es el auténtico ‘cerebro’ del GRID
Workload Management System
Servicios de Seguridad
Sistema de información
Gestión de Datos
Accounting
José Salt
Componentes del Middleware
28
28. INTRODUCCION A GRID Y E-CIENCIA
Evolución del Middleware
GLOBUS EDG LCG-1 LCG-2
gLite
gLite no es sólo un paquete de sw, es un nuevo
marco de trabajo par un desarrollo colaborativo
internacional de middlewarea. Se ha conseguido
mucho dentro del primer año de EGEE, pero
estamos dando los primeros pasos
Solución de fase rápida de prototipo allowing
que permita una reacción rápida a los usuarios
finales
Suministrar componentew individuales a SA1
para el despliegue del Servicio de
preproducción
Ir a la etapa de integración y test
LCG-2 (=EGEE-0)
prototyping
prototyping
product
2004
2005 product
De la fase de Desarrrollo a la fase de
producción
José Salt
29
29. INTRODUCCION A GRID Y E-CIENCIA
Situación y Problemas actuales
Se avanza hacia la consecución de
interfaces comunes/ protocolos con los
que se pueda integrar todo
Se ha comenzado el proceso de
standarización
Áreas más activas:
– Autorización : VOMS
– Accounting
– RLS
José Salt
30
30. INTRODUCCION A GRID Y E-CIENCIA
6. – Definición de e-Ciencia.
Iniciativas
-definición de e-Ciencia
- el EGEE como proyecto para extender el GRID
- el CrossGrid como proyecto de I+D del GRID
- DEISA como proyecto de Supercomputación
- AccessGRID como proyecto en herramientas y entornos
colaborativos
José Salt
31
31. INTRODUCCION A GRID Y E-CIENCIA
1.-Definición de e-Ciencia
e (nhanced) Science
el conjunto de actividades científicas
desarrolladas mediante el uso de recursos
distribuidos accesibles a través de Internet
(definición adoptada en el libro blanco)
Ejemplos:
Cálculo distribuido
– Simulaciones masivas en colaboraciones internacionales
– Procesado de datos y de estructuras propuestas
Almacenamiento de grandes volúmenes de datos compartidos
– Datos de Experimentos y resultados de Simulaciones
– Repositorios digitales y bases de datos de interés común a varios centros
José Salt
32
32. INTRODUCCION A GRID Y E-CIENCIA
Teleoperación de instrumentación científica
– Telescopios
– Sensores y detectores
Herramientas avanzadas de colaboración
– Salas AccessGrid
– Teleinmersión y Realidad Virtual
2.-CROSSGRID como proyecto de I+D del GRID
Proyecto Europeo 5PM. 21 socios. IFIC e IFCA (CSIC)
Objetivo: Establecimiento de un GRID interactivo con varias aplicaciones
en diferentes Campos de la Ciencia (Física de Partículas, Meteorología,
Medicina, Contaminación Atmosférica.
Hemos obtenido muchas enseñanzas de CrossGRID
La vertiente multidisciplinar del proyecto ha
Sido muy provechosa
José Salt
Ver la clase de Jesús Marco
http://mapcenter.lip.pt
33
33. INTRODUCCION A GRID Y E-CIENCIA
3.- EGEE como proyecto de explotación del GRID
Objetivo: integración de
iniciativas GRID nacionales,
regionales y temáticas
existentes, con el fin de
desarrollar una infraestructura
GID para el soporte de la
investigación científica
Acceso a recursos de
computación,
independientemente de su
localización geográfica.
Financiación : Unión Europea,
Sexto Programa Marco. 32
Millones de Euros
70 organizaciones punteras de
27 paises distribuidas en 12
federaciones.
Fedración Sudoeste: España y
Portugal
NA1: Gestión global proyecto
NA2: Diseminaciaón y
divulgación
NA3: Training
NA4: Identificación de
aplicaciones para el grid y
soporte
NA5: Políticas de uso y
cooperación internacional
(red?)
SA1: Soporte, operación y
gestión del GRID en Europa
SA2: Gestión de recursos de
red
JRA1: Integración y
reingenieria del middleware
JRA2: Gestión de calidad
JRA3: Seguridad
JRA4: Desarrollo servicios de
red
Industry Forum: participación
de las empresas en el GRID
José Salt
34
34. INTRODUCCION A GRID Y E-CIENCIA
EGEE: las tecnologías GRID al servicio de la Ciencia
José Salt
35
35. INTRODUCCION A GRID Y E-CIENCIA
Proyectos científicos que utilizan
infraestructura de EGEE
Computación para el colisionador LHC, basada en una
infraestructura GRID para almacenar y analizar varios Petabytes
(1PB = 1015 bytes) de datos, tanto reales como simulados
Biomedicina. El reto del data-mining aplicado a la genómica y la
indexación de las bases de datos médicas procedentes de centros
hospitalarios (TB de información ) añadiendo la dificultad de
asegurar la confidencialidad y seguridad de los datos almacenados
y transmitidos a través de la red
Otras áreas: Química Computacional, etc
José Salt
36
36. INTRODUCCION A GRID Y E-CIENCIA
Papel de
España
en el
desarrollo
del
Proyecto
Siglas Institución Ciudad Ac
CESGA Fundación Centro
Supercomputación de Galicia
Santiago de
Compostela
SA1
CSIC-CNB Centro Nacional Biotecnología Madrid NA4
CSIC IFCA Instituto Física de Cantabria Santander SA1
CSIC-IFIC Instituto Física Corpuscular Valencia SA1
INTA Instituto Nacional de Tecnicas
Aeroespaciales
Madrid SA1
LIP Laboratorio de Instrumentación y
Fisica Experimental de
Partículas
Lisboa SA1
PIC Port d’Informació Cientifica Barcelona SA1
RED.ES RED.ES (Red Iris) Madrid NA5
UPV Universidad Politécnica de
Valencia
Valencia NA4
José Salt
37
37. INTRODUCCION A GRID Y E-CIENCIA
Participación en SA1: la federación SWE tiene como misión la de
crear, operar, soportar y mantener la infraestructura de GRID a nivel de
producción con el fin de proporcionar recursos de computación,
almacenamiento e instrumentación
Soporte técnico a los distintos centros de recursos (RC) existentes y
potenciales dentro de la región
1) Servicios fundamentales de
infraestructura
2) Monitorización y control del GRID
3) Implantación del middleware y captación
de recursos
4) Soporte a los usuarios y a los recursos
5) Gestión del GRID
José Salt
38
38. INTRODUCCION A GRID Y E-CIENCIA
4.- Salas AccessGRID
José Salt
Conjunto de recursos que incluye
displays multimedia de gran formato,
entornos de presentación e
interactivos, e interfaces al
middleware GRID y entornos de
visualización;
Soporte utilizado para interacciones
entre grupos a través del GRID;
Meetings distribuidos a gran escala,
sesiones de trabajo colaborativo,
seminarios, clases, training, etc
3.400 certificados para utilizadores
en 47 países; cada institución posee
1 o mas nodos AG, que contienen
tecnología audiovisual necesaria
para suministrar un servicio de alta
calidad
Desarrollado en ANL (Argonne
National Laboratory) y desplegado por
NCSA PACI alliance
En España: proyecto TORGA
39
39. INTRODUCCION A GRID Y E-CIENCIA
5.- DEISA como proyecto de supercomputing
DEISA: Distributed
European Infraestructure
for Supercomputing
Applications
DEISA es un consorcio de
centros lideres en
supercomputación cuya
finalidad es el despliegue
y la operación de un
sistema de
supercomputación
distribuido que (a) sea
persistente y (b) con
calidad de producción , de
alcance continental
Integración profunda de
las plataformas de alto
nivel
Coexistencia de la
infraestructura europea con
los servicios nacionales que
requiere fiabilidad y
comportamientos de buenas
maneras o disciplinados
Transparente al usuario ( no
deben darse cuenta de las
complejas tecnologías GRID)
y a las aplicaciones
( minimizar la intrusión en
las aplicaciones con el fin de
que dependan al mínimo de
la sinfraestructuras)
José Salt
40
41. INTRODUCCION A GRID Y E-CIENCIA
7.- Modelos de e-Ciencia por paises
-Modelo Británico
-Modelo Italiano
José Salt
42
42. INTRODUCCION A GRID Y E-CIENCIA
UK-e-Science: el modelo británico
Programa con financiación UK-e-
Science
Financiación: 98 millones de libras
La primera fase tuvo 6 elementos
básicos:
• Centro Nacional de e-Ciencia
conectado con una red de centros de
GRID regionales
• Proyectos de middleware GRID y
demostradores
• Proyetos GRID Interdisciplinares
“IRC”
• Soporte a proyectos pilotos de e-ciencia
• Participación en proyectos y
actividades GRID Internacionales
• Establecimiento de una equipo de
GRID en red
José Salt
43
43. INTRODUCCION A GRID Y E-CIENCIA
Segunda fase del
Programa de e-ciencia:
basado en 6 actividades:
1 centro de e-ciencia
nacional conectado a una
red de centros GRID
regionales
Actividades de soporte
para la comunidad de e-ciencia
de UK
Instituto para la
infraestructura de Open
Middleware
Un Digital Curation Center
Nuevos ejemplares de e-
Ciencia
Participación en proyectos
ya actividades GRID
Internacionales
José Salt
44
44. INTRODUCCION A GRID Y E-CIENCIA
Observación Virtual con Astrogrid
José Salt
45
45. INTRODUCCION A GRID Y E-CIENCIA
INFN-GRID: el
modelo italiano
Comenzó en 1999 a partir de la red
académica italiana (GARR)
Más de 20 centros de entre las
Universidades italianas más importantes
Inicialmente focalizado en
infraestructuras para Física, ahora está
abierto a otros campos de investigación
(biomedicina, observación de la tierra,
etc) y de la industria;
Ejemplo de colaboración de
profesionales: físicos, biologos,
ingenieros informáticos, etc
Proyectos: DATAGRID, DataTag, LCG,
EGEE,...
Suministra soluciones, metodologías y
tecnologías innovadoras para
implementación y extensión de su uso a
plataformas GRID a gran escala
José Salt
46
46. INTRODUCCION A GRID Y E-CIENCIA
8- Areas Temáticas de e-Ciencia
1) Problemas y retos planteados
2) ¿quiénes utilizaran el GRID y para qué?
3) Areas temáticas de e-ciencia en España
José Salt
47
47. INTRODUCCION A GRID Y E-CIENCIA
1- Problemas y retos planteados
1) Avance en la mejora de la red
2) Nuevos enfoques en la resolución de problemas
– Data Grids, computación distribuida, peer-to-peer, grids
colaborativos, …
1) Estructuración y escritura de programas
– Abstracción, herramientas
1) Posibilitar compartir recursos entre diferentes
instituciones
– Descubrimiento de recursos, acceso, reserva, asignación;
autenticacion, autorizacion, politica de uso; comunicacion;
detección de fallos y notificacion; …
José Salt
TECNOLOGICOS
48
48. INTRODUCCION A GRID Y E-CIENCIA
1) Capacidad de encontrar entornos colaborativos
2) Conseguir estructuras multidisciplinares
3) Organización/coordinación
4) Financiación por parte de la Administración
5) Motivación para la participación de empresas
6) Posibilidad de comercialización (suministro de servicios
y aplicación de tarifas
2- ¿Quienes utilizarán el GRID y para qué?
José Salt
SOCIALES Y ECONOMICOS
–Científicos e Ingenieros en Computación:
•El GRID suministrará las herramientas necesarias para el modelado de sistemas
complejos
49
49. INTRODUCCION A GRID Y E-CIENCIA
– Científicos Experimentales
• Uso y mezcla de recursos de instrumentación remota y de
supercomputadores. Acceso a grandes cantidades de datos.
– Colaboraciones
• Facilitará que las corporaciones virtuales puedan compartir recursos de
almacenamiento de datos y de potencia de cálculo.
– Corporaciones
• Permitirá a las empresas multinacionales la creación de entornos
virtuales, integración completa y facilidades para llevara cabo modeling a
gran escala (ej: Diseño Asistido por Ordenador compartido por varios
centros simultaneamente)
– Medio Ambiente:
• Análisis de los datos recolectados en diferentes lugares del mundo
relacionados con el cambio climático, el deterioro de la capa de ozono y ,
en general, el control del clima.
– Formación y Educación
• Salas o clases de lectura virtuales con recursos y tutores distribuidos.
José Salt
50
50. INTRODUCCION A GRID Y E-CIENCIA
9- Interés por el GRID y la e-
Ciencia en las empresas
1) Utility Computing y GRID Computing
2) Adeaptación del GRID a las necesidades de las empresas
José Salt
51
51. INTRODUCCION A GRID Y E-CIENCIA
1.- Utility Computing
El UC proporciona una visión de las tecnologías de la
información centrada en servicios
Sus características son: ser transparente al usuario y estar
siempre disponible
Compra de recursos informáticos en un mercado abierto a un
proveedor de servicios
Papel del GRID en UC: el GRID es una herramienta que
permitirá al UC ofrecer servicios IT de forma global a
Comunidades Virtuales, rompiendo barreras organizativas y
liberando capacidades de los mismos
Ejemplo de colaboración del UC y el GriD es el de la empresa
‘DreamWorks’, que ha aplicado tecnologías innovadoras a la
filmación de la película ‘Shrek 2’ (HP ha proporcionado a
Dreamworks la flexibilidad de manejar enormes cantidades de
potencia de cálculo)
José Salt
52
52. INTRODUCCION A GRID Y E-CIENCIA
HP ha suminsitrado a
DreamWorks la flexibilidad de
manejar enormes cantidades de
potencia de cálculo, con el
objetivo de obtener la animación
de gran calidd necesaria
durante el acabado final de la
película
Se procesaron más de 500000
imágenes individuales,
permitiendo cubrir loa picos de
trabajo mediante el uso de
recursos comunitarios según el
modelo ‘Utility + GRID
computing’ ( extensión de hasta
un 50% más durante los citados
picos
José Salt
53
53. INTRODUCCION A GRID Y E-CIENCIA
2.- Adaptación del GRID a las necesidades de la empresa
Las redes GRID tiene un evidente significado
estratégico:
– Optimización de recursos infrautilizados
– Acelerar procesos y aplicaciones
No todas las aplicaciones pueden sacar un partido al
100% de un GRID
Programa de comercialización vs interés de I+D de
gran número de empresas
Establecimiento de acuerdos y proyectos con centros
de investigación, Universidades, etc : no es tarea fácil
pero se deben buscar cauces
José Salt
54
54. INTRODUCCION A GRID Y E-CIENCIA
9.- REDIRIS: hacia un modelo de
GRID nacional
-Descripción de la Iniciativa IRISGRID.
-Libro Blanco de e-Ciencia
José Salt
55
55. INTRODUCCION A GRID Y E-CIENCIA
1. Descripción iniciativa IRISGRID
Objetivos:
– Lanzar una Red Temática para promover el uso de
tecnologias GRID
– Analizar la posibilidad de organizar un programa de e-Ciencia
en E-spaña
– Revisar las iniciativas de GRID existentes
– Apoyo y promoción de la participación en convocatorias del VI
Programa Marco de la Unión Europea
Centros involucrados
José Salt
56
59. INTRODUCCION A GRID Y E-CIENCIA
Santiago: Oviedo Santander
USC Univ. Ovi IFCA
CESGA UC
A Coruña:
UDC
Salamanca: Barcelona:
CIC PIC IFAE-UAB
UAB
UPC/CIRI
Madrid:
RedIris
UAM
UCM
CIEMAT Baleares
CNB Valencia IMEDEA
CAB CSIC UIB
UPM Murcia UV
INTA UM UPV
UCIII
Granada
IAA Canarias
Univ. Granada IAC
Almeria
Univ. Almeria
José Salt
60. INTRODUCCION A GRID Y E-CIENCIA
2.- Libro blanco de e-Ciencia en España
Promovido y publicado por la Fundación Española para la
Ciencia y la Tecnología
Beneficio por parte de diversas áreas de investigación del
desarrollo de la e-Ciencia. 8 áreas
Activar la puesta en marcha de un Programa de e-Ciencia
proponiendo que
– El MEC
• lance una Acción Estratégica incluida en el PNID 2004-2007, que
• cree un Comité Asesor y/o gestión
• Nombre representantes para la coordinación internacional
• Asegure la disponibilidad de recursos
– La FECyT
• Nombre coordinador interno y Grupo de Expertos
• Facilite encuentros para realizar acciones concretas
– RedIris.
• Coordine lanzamiento de una plataforma GRID a nivel nacional a corto plazo,
• Afiance tecnologías, las inventaríe y las ofrezca a grupos,
• Proponga la creación de experiencias piloto en cada campo
• Fortalezca la conectividad hasta el usuario final
José Salt
61
62. INTRODUCCION A GRID Y E-CIENCIA
Más detalles sobre aspectos importantes del GRID
y de e-Ciencia en las proximas clases, en particular
en la de Jesús Marco sobre proyectos de e-Ciencia
o en la de Antonio Fuentes sobre la Red.
En la segunda clase centraremos la atención en las
aplicaciones Científicas en GRID haciendo énfasis de
las características propias de los diferentes campos
científicos
José Salt
63
63. INTRODUCCION A GRID Y E-CIENCIA
Sobre GRID:
– Libro blanco de e-Ciencia , FECyT, 2004
– Presentación ‘Proyectos GRID” , charla dentro del ciclo de
‘VIVE LA CIENCIA”; Mayo 2003
– Revista monográfica dedicada a ‘GRID Computng’
BOLETIC, editado por ASTIC , num. 33 , Marzo 2005
– Computing distribuido: http://en.wikipedia.org/wiki/Distributed-computing
Sobre e-ciencia
- http://public.eu-egee.org
- http://grid.ifca.unican.es/egee-sa1-swe/
- http://www.rcuk.ac.uk/escience
- http://www.d-grid.de
- web de Irisgrid: http://www.rediris.es/irisgrid/
José Salt
Referencias:
64
Notas del editor
Current and future international projects in science require the use of increasing computing and storage resources to handle and process larger volumes of information by researchers distributed across the world. The evolution in hardware ( CPU computing power, storage capacity, network bandwidth ) will not be able to cope with these requirements, that are significant not only in terms of resources but also on the organization for resource sharing. The term e-Science has been coined to refer to “large scale science that will be carried out through distributed global collaborations enabled by Internet”.
One of the research priorities in FP6, 1.1.2.i, “Applied IST research addressing major societal and economical challenges”, includes “Computing and Information GRIDs” as a research topic for “Complex problem solving in science”.
GRIDs can be defined as an advanced computational concept on which next generation Internet applications will be based: an architecture proposing a global solution to computational challenges and a framework for e-Science. Ian Foster and Carl Kesselman, developers of the Globus GRID middleware, define its possibilities for enabling Virtual Organizations: ”An infrastructure that enables flexible, secure, coordinated resource sharing among dynamic collections of individuals, institutions and resources”.
Different research GRID projects are addressing different issues of this framework, from fabric management and basic middleware to portals and development of application kits. Also the real implementation in a wide European scale, using existing and new computing facilities, so implying research on key practical issues concerning installation and operation management, is being studied in testbeds in current EU projects like EU DataGrid, and will be the objective of new Integrated Projects in the 6th Framework Programme. Also RTD projects are addressing the use of the GRID technology on different application fields, from biology to astrophysics.
The proposal pursuits one of the most ambitious objectives in GRID computing: the possibility of implementing a GRID facility for real-time applications. It should be clear that the force driving this network will come from the application side: as indicated before, e-Science poses such challenges that simply we will need Real Time GRIDs to solve them. In this sense, it is a further step along the path open by projects addressing interactive applications in the GRID framework, like the EU CrossGrid project. However it will require a non trivial advance on many technical issues, in particular those related to the support of QoS and the dynamical management of resources, and also a conceptual effort to produce an adequate design for operation in the framework of an Open Grid Service Architecture, where this meta-computing challenge is incorporating ideas from the Semantic Web approach.
A mixture of research institutions, universities, and technology companies in the network will assure that the deployed RTGRID is of general interest and flexible enough to accommodate new interested participants, but at the same time solves real complex problems using in a coordinated way existing computing facilities, producing a clear synergy.
The proposers do have extensive experience on distributed computing and in particular in GRID computing for interactive applications, including relevant roles in EU projects (CrossGrid, IST-2001-3224). The participants expect also to take part in a separate Integrated Project enabling the basic GRID infrastructure. Existing facilities, that will be integrated in the RTGRID, will range from mid to large size clusters locally managed, with heterogeneous hardware and software. One of the main points will be the collaboration with the corresponding National Network Providers, basic to progress on QoS implementation issues.