El documento describe el Grid Computing y el Globus Toolkit. Explica que el Grid Computing permite compartir recursos de forma coordinada entre instituciones, y que el Globus Toolkit es un conjunto de herramientas de código abierto que permite construir grids mediante la segura distribución y gestión de recursos e intercambio de datos entre organizaciones.

1. Grid Computing y Globus Toolkit Leticia Rocha González María Rosa Varela González Vanesa Vidal Castro

2. ¿De qué hablaremos? Grid Computing Qué es el Grid computing Porqué surge el grid Conceptos fundamentales Arquitectura básica Funcionamiento Diferencias Grid/Cluster/P2P Aplicaciones Ventajas del GRID

3. ¿Qué es el grid computing? Es una forma de computación distribuida que permite utilizar de forma coordinada todo tipo de recursos (cómputo, almacenamiento y aplicaciones específicas) que no están sujetos a un control centralizado. Se lo compara con la red de suministro eléctrico, porque significa utilizar de manera transparente para el usuario recursos de todo tipo; igual que cuando enchufamos algún aparato en la red eléctrica.

4. ¿Qué es el grid computing? Se agregan los recursos (heterogéneos) de instituciones diferentes para crear “organizaciones virtuales” (VO). Se aprovecha para ello las redes de área extensa (WAN), por ejemplo Internet

5. ¿Qué es el grid computing? Mediante el www, un servicio construido sobre Internet, podemos compartir información. Mediante el Grid, construido por encima del www, podremos compartir además: Poder de cálculo Capacidad de almacenamiento Bases de datos Aplicaciones…

6. ¿Porqué surge el grid? En ámbitos científicos, la cantidad de datos a procesar es ingente y sobrepasa la capacidad de cómputo de los recursos de cada institución. BioInformática: genoma humano, proteínas.. Medicina: diagnóstico, digitalización… Física: aceleradores de partículas… Nanotecnología: nuevos materiales… Ingeniería: simulación, análisis de fallos… Medio ambiente: clima, predicción terremotos, inundaciones…

7. Conceptos fundamentales Compartición de recursos Acceso directo al software remoto, hardware y datos. Recursos que pertenecen a instituciones y personas diferentes -> Diferentes políticas de seguridad Se necesitan reglas y condiciones de uso a cumplir por todos los usuarios del grid. Acceso seguro Política de acceso ¿Qué se comparte? ¿Entre quién? Autentificación ¿Cómo identificar un usuario o recurso? Autorización ¿Cómo saber si una operación es consistente con las reglas marcadas? Cuestiones de seguridad clásicas, pero que requieren soluciones más complejas al tratarse de un grid.

8. Conceptos fundamentales Uso de recursos Por muchos recursos que tengamos, las colas son inevitables Se necesitan mecanismos para distribuir eficientemente los recursos Se mantiene información sobre las tareas en ejecución El middleware se encarga de estas gestiones. El fin de las distancias El Grid es posible gracias al desarrollo de las tecnologías de redes

9. Conceptos fundamentales Estándares abiertos Ya que el mayor objetivo del grid es “compartir” resulta lógica la búsqueda de estándares. El Global Grid Fórum se encarga de esta tarea Se considera al estándar OGSA la clave del grid en el futuro. El Globus Toolkit es un middleware que se ha convertido en estándar de facto.

10. Arquitectura básica La arquitectura grid estándar propuesta es abierta y se compone de 5 capas: Infraestructura Conectividad Recurso Recursos (o Colectiva) Aplicación

11. Arquitectura básica: Infraestructura Recursos computacionales que serán compartidos, además de la infraestructura de red y sus mecanismos de gestión y control Los recursos pueden ser entidades físicas o lógicas: Clústers de ordenadores Sistemas de almacenamiento de red Bases de datos Sistemas de archivos distribuidos…

12. Arquitectura básica: Conectividad Engloban: Protocolos de comunicación (como TCP/IP) : permiten el intercambio de datos entre la capa más inferior y los recursos Protocolos de seguridad (como SSL o X.509): brindan mecanismos de criptografía para identificar usuarios y recursos

13. Arquitectura básica: Recurso Protocolos que permiten obtener la información de un recurso en particular y gestionarlo controlando el acceso, arranque de procesos, gestión, monitorización y auditoria. Las implementaciones de estos protocolos llaman a funciones de la capa de Infraestructura. Se refieren a recursos individuales, dejando a la siguiente capa la monitorización de colecciones de recursos

14. Arquitectura básica: Recursos Protocolos y servicios que permiten gestionar la interacción de un conjunto de recursos Servicios de directorios (Para descubrir y ubicar recursos compartidos) Schedulers distribuidos (Para asignar tareas a cada recurso) Sistemas de monitorización y diagnóstico de recursos ante fallas Servicios de replicación de datos Servicios de balanceo de carga

15. Arquitectura básica: Aplicación Protocolos que permiten el acceso a la estructura grid. Mediante esta capa, el usuario accede al grid, para poder utilizar sus recursos Ahora veremos cómo funciona el sistema cuando un usuario desea ejecutar una tarea en el grid.

16. ¿Cómo funciona el grid? Un usuario tiene un problema con unas necesidades computacionales que le sobrepasan Implementa un “job” que se pueda ejecutar en el grid Se conecta al grid por medio de una interfaz software que ejecuta en su equipo ( capa de aplicación)

17. ¿Cómo funciona el grid? El usuario debe validarse correctamente para asegurar la seguridad (capa de conectividad)

18. ¿Cómo funciona el grid? Tras validarse, el usuario se podrá comunicar con el núcleo del grid, el Resource Broker (capa de Recursos) , que se encarga de buscar los recursos óptimos en cada caso.

19. ¿Cómo funciona el Resource Broker? El Resource Broker consulta al Information Service acerca de los recursos disponibles en el Grid; y al Replica Catalog para conocer donde se localizan los datos existentes

20. ¿Cómo funciona el grid? Una vez localizados los recursos que más nos convienen (capa de Infraestructura), el Resource Broker le envía el job, y se ejecuta.

21. ¿Cómo funciona el grid? En cualquier momento, el usuario puede consultar al Resource Broker por el estado del proceso. Cuando se ha terminado de ejecutar el job, el RB nos devuelve los resultados. Resultado

22. Diferencias Grid/Cluster/P2P Un grid no es un cluster de ordenadores (en un grid puede haber integrados muchos o ningún cluster). Se puede considerar a la tecnología GRID como una versión mejorada de P2P. Permite compartir todos los recursos de un equipo (no sólo ficheros) y garantiza calidades de servicio no triviales. Además es multipropósito.

23. Aplicaciones Actualmente existen un gran número de aplicaciones reales que usan computación Grid, mayoritariamente en el ámbito científico-académico. Aunque existe muchos Grids para tipos específicos de aplicaciones en todo el mundo, el objetivo es la construcción de un GRID Mundial . Los usuarios se conectarían a la “GRID” y accederían a la capacidad de cómputo y de almacenamiento que precisen sin preocuparse de dónde se genera.

24. Aplicaciones Proyectos que usan Grid: USA NASA Information Power Grid DOE Science Grid NSF National Virtual Observatory NSF GriPhyN DOE Particle Physics Data Grid NSF TeraGrid DOE ASCI Grid DOE Earth Systems Grid DARPA CoABS Grid NEESGrid DOH BIRN NSF iVDGL EUROPA EGEE(CERN) DataGrid(CERN) EuroGrid(Unicore) DataTag(CERN) Astrophysical Virtual Observatory GRIP (Globus/Unicore) GRIA (Aplicaciones industriales) GridLab (Cactus Toolkit) CrossGrid (Componentes de infraestructura) EGSO (Física solar) UK e-Science Grid NorduGrid(Noruega y Suecia)

25. Aplicaciones Las principales áreas de aplicación de la computación Grid son: Aplicaciones con grandes necesidades computacionales. Aplicaciones con grandes necesidades de almacenamiento o proceso de datos. Aplicaciones colaborativas.

26. Aplicaciones Aplicaciones con grandes necesidades computacionales : Simulación, predicción, monitorización … Proyecto CrossGrid : Inundaciones : Modelado y simulación de regiones susceptibles de inundaciones para predecir inundaciones y/o proporcionar datos a equipos de crisis en caso de inundación. Medicina. Partículas Físicas. Aplicaciones metereológicas : Modelado de la atmósfera y el océano para avisar y diagnosticar el estado del mar. Contaminación: Simulación de la contaminación aérea.

27. Aplicaciones Aplicaciones con grandes necesidades de almacenamiento o proceso de datos: Aplicaciones que generan un flujo grande y constante de datos. Por ejemplo el LHC ( Gran Colisionador de Hadrones) de 27 km de circunferencia desarrollado por el CERN (Organización Europea para la Investigación Nuclear). El LHC genera datos que se corresponden con 56 millones de cedes cada año.

28. Aplicaciones El análisis de datos del LHC requiere un poder de computación equivalente a 100.000 de los procesadores más rápidos que existen en el mercado hoy en día. The Grid: Red de transmisión de fibra óptica que conectará centros de investigación de todo el mundo para almacenar los datos producidos por el LHC. (Aproximadamente 55.000 servidores) Aplicaciones que se benefician del acceso a datos similares situados en distintas organizaciones. Por ejemplo, el proyecto eDiaMoND para el análisis distribuido de mamografías.

29. Aplicaciones Aplicaciones Colaborativas: Aplicaciones que, por su naturaleza, son multiorganización y se benefician de una tecnología que facilita la comunicación entre distintas organizaciones. Tele conferencias, reuniones virtuales … AccessGrid : uVigo TV es una de las pioneras del uso de esta tecnología en España. Colaboración entre sismológos . NEESGrid (Network for Earthquake Engineering Simulation) : provee software y servicios que permiten a los sismólogos compartir datos y participar en experimentos remotos y simulaciones.

30. Aplicaciones Clasificación de los tipos de proyectos Grid del GridCafé World Comunity Grid Organización no lucrativa. Mayor Grid de computación para abordar proyectos que beneficien a la humanidad ( catástrofes, enfermedades…) Aprovechar el tiempo que los PC´s estén encendidos pero desocupados para ser útiles a la ciencia.

31. World Comunity Grid Para participar en el proyecto un usuario debe instalar el “World Comunity Grid Agent”. El agente se activa como salvapantallas cuando el ordenador no se está usando, descarga instrucciones que debe realizar y al terminar, envía las operaciones a la organización. Patrocinado por IBM Corporation, que ha donado hardware, software y expertos para la creación de la infraestructura. Además de ofrecer hosting, mantenimiento y soporte gratis.

32. World Comunity Grid Proyectos de investigación activos : Nutritious Rice for the World (12 de Mayo, 2008). Help Conquer Cancer (6 Noviembre, 2007). AfricanClimate@Home (3 Septiembre, 2007). Discovering Dengue Drugs – Together (21 Agosto, 2007). Human Proteome Folding - Phase 2 (23 Junio, 2006). FightAIDS@Home (21 Noviembre, 2005)

33. World Comunity Grid Captura de funcionamiento del proyecto FightAIDS@HOME del World Comunity Grid en un PC.

34. Tecnología Grid en las empresas Las grandes compañías de software han sido pioneras en migrar aplicaciones al Grid para dar soluciones a clientes con necesidades especiales de cómputo y almacenamiento. Casos conocidos : IBM : Grid ToolBox. HP: Creación de una infraestructura grid para colaborar con Dreamworks en la elaboración de Shrek 2. Sun MicroSystems : << Sun lanza un servicio de venta de capacidad de cómputo a 1$ la hora de CPU y el GB de almacenamiento a través de su grid corporativo >>

35. IBERGRID 2008 IBERGRID'2008 es la segunda edición de una serie de Conferencias de Infraestructura de Grid Ibérica iniciadas en 2007. Enmarcadas en un acuerdo bilateral para la Ciencia y la Tecnología que se firmó en noviembre de 2003 entre Portugal y España. Este año las organiza la Facultad de Ingeniería de Porto, entre el 12 y el 14 de mayo.

36. IBERGRID 2008 IBERGRID surge con el fin de : Crear un Infraestructura de Grid Ibérica. Promover la cooperación ente ambos países en la computación GRID y la supercomputación. El objetivo principal del IBERGRID 2008 es constituir un foro donde comentar los avances en el desarrollo de las infraestructuras, tecnologías y aplicaciones de GRID por sus principales usuarios en España, Portugal y Latinoamérica. http://www.ibergrid.eu/2008/index.html

37. Ventajas del GRID Las principales ventajas de Grid Computing son: Descentralización: pueden agregarse recursos sin importar su localización geográfica. Heterogeneidad: todo recurso puede ser integrado. Pueden ser de 2 tipos: Hardware: Ordenadores o dispositivos electrónicos. Software: Los recursos agregados pueden ser de todo tipo (servicios, documentos, imágenes, bases de datos...) y estar presentes en cualquier sistema operativo (Windows, UNIX, MacOSX...). Escalabilidad: La infraestructura puede ser aumentada continuamente sin alterar procesos y sin que se resienta su eficiencia. Multipropósito: La infraestructura puede utilizarse para todo tipo de aplicaciones.

38. Globus Toolkit

39. ¿De qué hablaremos? ¿Qué es el Globus? ¿Qué es la Globus Alliance? ¿Qué es el Globus Toolkit? Estructura del Globus Toolkit Componentes del Globus Toolkit Instalación del Globus Toolkit

40. ¿Qué es el Globus? Su intención principal es crear una plataforma completa donde compartir aplicaciones y recursos informáticos en Internet. Es un proyecto creado en el año 1996, que surge como una iniciativa para la investigación y el desarrollo de tecnologías fundamentales para Grids. Desde entonces, el equipo de desarrollo de Globus se ha ampliado de unos pocos individuos a una distribuida comunidad internacional. En respuesta a este crecimiento, surge la “Globus Alliance”.

41. Surge del proyecto Globus y se creó oficialmente en el año 2003. Es una comunidad internacional de organizaciones y particulares dedicada a desarrollar las tecnologías necesarias para construir infraestructuras de computación Grid. Lleva a cabo la investigación y desarrollo para elaborar la tecnología, estándares y sistemas que conforman el Grid. ¿Qué es la Globus Alliance?

42. ¿Qué es la Globus Alliance? La Globus Alliance junto con el Globus Toolkit ha dado lugar a multitud de nuevas e interesantes aplicaciones científicas y empresariales. Ejemplo del impacto de la Globus Alliance: Científicos del Earth System Grid (ESG) están produciendo, archivando y facilitando el acceso a datos climáticos, haciendo que aumenten nuestros conocimientos acerca del cambio climático global. Esta imagen creada por la UCAR (University Corporation Atmospheric Research), muestra mediante datos de la ESG, la extensión de hielo marino (blanco/gris), el movimiento del hielo, la temperatura superficial del mar (colores) y la presión atmosférica a nivel de mar (contornos).

43. ¿Qué es el Globus Toolkit? Es un conjunto de herramientas software de código abierto desarrollado y proporcionado por la Globus Alliance para construir grids. El Globus Toolkit incluye software para distribuir seguridad, información y manejo de recursos e intercambio de datos. Permite compartir potencia de cálculo, bases de datos y otras herramientas online de forma segura a través de las empresas, instituciones y fronteras geográficas sin sacrificar la autonomía local.

44. ¿Qué es el Globus Toolkit? No proporciona una solución 'lista para usar', sino que proporciona bloques constructivos y herramientas estándares para ser usados por los desarrolladores e integradores de sistema. La utilidad de los elementos que lo conforman ya ha sido probada en otros proyectos, razón por la cual han sido incluidos en el Globus Toolkit. Cada vez más proyectos y compañías usan el Globus Toolkit para explotar el potencial de los Grids en su causa. Además de ser una parte central de la ciencia e ingeniería de proyectos que suman un total de casi medio billón de dólares internacionalmente, el Globus Toolkit es la base mediante la cual las compañías están construyendo importantes productos comerciales Grid.

45. Globus Toolkit ha sido diseñado e implementado para fomentar y sacar provecho del uso de los estándares existentes de comunidades como IETF, W3C, OASIS y GGF. Las herramientas incluidas usan estos estándares en lugar de crear los mecanismos para hacer las mismas cosas de forma diferente. Su última versión es la GT4, y su implementación comprende, entre otros, los siguientes estándares: Open Grid Services Architecture (OGSA) Web Services Resource Framework (WSRF) ¿Qué es el Globus Toolkit?

46. Describe una arquitectura de sistemas grid basada en los conceptos y tecnologías de servicios Web. Define un conjunto de interfaces para los servicios básicos de un Grid para poder acceder a cualquier servicio de la misma forma. Se basa notablemente en otras tecnologías de servicios Web como WSDL (Web Services Description Languaje) y SOAP (Simple Object Access Protocol). Fue creado por el Global Grid Forum (ggf): comunidad de usuarios, desarrolladores, vendedores y líder mundial de esfuerzo para la normalización del Grid Computing. ¿Qué es el Globus Toolkit? Open Grid Services Architecture (OGSA)

47. Implementa los servicios Web requeridos por OGSA. Proporciona un conjunto de operaciones que los servicios Web compatibles pueden implementar para convertirse en servicios Web con estado. Los clientes de los servicios Web se comunican con servicios WSRF que representan recursos y que permiten almacenar y recuperar información. Proporciona también un conjunto de especificaciones para la consulta y modificación de las propiedades de los recursos: WS-ResourceProperties : cómo acceder a las propiedades de un recurso. WS-ResourceLifetime : gestión del ciclo de vida (creación, destrucción) de un recurso. WS-ServiceGroup : gestión de un conjunto de recursos y servicios (añadir un recurso a un grupo, buscar un servicio en un grupo,…). WS-BaseFaults : representación de fallos. ¿Qué es el Globus Toolkit? Web Services Resource Framework (WSRF)

48. Estructura del Globus Toolkit Implementado según un modelo de capas: Seguridad: comprende los servicios de seguridad. Gestión de datos: se encuentran los servicios básicos como la gestión de trabajos, los servicios de directorio y monitorización y los de transferencia de ficheros. Gestión de recursos: núcleo donde se encuentran las factorías de recursos y los servicios de notificaciones, persistencia y ciclo de vida. Servicios de información: servicios de gestión de grandes cantidades de datos. Servicios que no son parte del toolkit pero que se basan en esta arquitectura

49. El Globus Toolkit usa el GSI (Globus Security Infrastructure) para habilitar una autentificación y para tener una comunicación segura a través de una red abierta. La autentificación se realiza usando la tecnología de firma digital. Permite el acceso a los recursos solo a quienes deberían tener acceso a ellos. Permite la delegación de privilegios, para que un servicio pueda recuperar datos de un recurso independiente del usuario. Componentes del Globus Toolkit: Seguridad

50. Para copiar datos entre recursos: GridFTP : protocolo de transferencia de ficheros seguro y de alto rendimiento basado en el popular protocolo FTP, optimizado para redes de área amplia con grandes anchos de banda. Reliable File Transfer ( RFT ): servicio que permite transferir flujos de bytes de manera fiable. Para la replicación de datos en los recursos de un grid: Replica Location Service ( RLS ): mantiene y proporciona acceso a información sobre la localización física de copias de datos. Data Replication Service ( DRS ): crea réplicas de un conjunto de archivos en la ubicación especificada y registra las réplicas creadas en el RLS. Componentes del Globus Toolkit: Gestión de datos

51. La arquitectura de gestión de recursos permite el acceso transparente, unificado y seguro a los distintos gestores de recursos locales de cada centro o institución. Los principales componentes de esta arquitectura son: GRAM (Grid Resource Allocation Manager) : gestor de asignación de recursos (procesa las peticiones de recursos para la ejecución de aplicaciones remotas, maneja los trabajos activos y devuelve la información actualizada de las capacidades y de la disponibilidad de los recursos de cómputo). RSL : lenguaje de especificación de recursos. DUROC ( Dynamically-Updated Request Online Coallocator ): para la asignación múltiple de recursos. Componentes del Globus Toolkit: Gestión de recursos

52. El MDS (Monitoring and Discovering System) es el sistema de información de Globus y usa el protocolo LDAP para la consulta uniforme de la información referente a los sistemas en el Grid. El GRIS (Grid Resource Information Service), provee de manera uniforme la búsqueda de recursos obteniendo como resultado la configuración actual, capacidades, el estado y las prestaciones de cada recurso del Grid. Componentes del Globus Toolkit: Servicios de Información La información suministrada por cada GRIS se agrupa en el GIIS ( Grid Index Information Service ), que ofrece una imagen conjunta y coherente de los recursos del Grid, es decir acepta mensajes de registro de los GRIS y agrupa esas fuentes de información en un espacio unificado de información.

53. Instalación del Globus Toolkit Prerrequisitos Si se quieren usar todos sus componentes, instalar sobre Unix/Linux . Apache Ant : herramienta de código abierto hecha en Java usada normalmente durante las fases de compilación y construcción (build), similar a Make pero multiplataforma (independiente del sistema operativo). J2SDK : paquete que contiene el entorno de desarrollo de Java Sun. Iodbc : para el manejo de bases de datos. Compiladores de C y C++

54. Instalación del Globus Toolkit Descargar el instalador: http:// www.globus.org /toolkit/ downloads /4.0.7/ Crear un usuario llamado “globus”. Este usuario sin privilegios se usará para realizar tareas administrativas (arrancar y parar el contenedor, despliegue de servicios,...). Crear un directorio para la instalación y darle permisos de lectura y escritura. Habrá que crear el directorio como root y después cambiar su propietario a globus. # adduser globus # mkdir /usr/local/globus-4.0.7 # chown globus:globus /usr/local/globus-4.0.7

55. Instalación del Globus Toolkit Como usuario globus … Extraer los archivos de instalación, crear las variables de entorno, configurar y crear el ‘Makefile’: Finalizada la configuración, compilar e instalar el GT4: $ tar jxvf gt4.0.7-all-source-installer.tar.bz2 $ cd gt4.0.7-all-source-installer $ export ANT_HOME=/usr/local/apache-ant-1.6.5 $ export JAVA_HOME=/usr/local/jdk1.5.0_07 $ export PATH=$ANT_HOME/bin:$JAVA_HOME/bin:$PATH $ ./configure –prefix=/usr/local/globus-4.0.7 \ --with-iodbc=/usr/lib \ [--enable-wsgram-{condor|lsf|pbs}] $ make | tee installer.log $ make install

56. Bibliografía Borja Sotomayor: Introducción a la computación GRID http://www.e-ghost.deusto.es/docs/IntroduccionGrid.pdf Natalia Costas, Centro de Supercomputación de Galicia, Javier Gómez, University of Manchester, Vicente Goyanes, Universidad de Vigo: AccessGrid - Un enfoque práctico a nuevos métodos de colaboración. http://www.rediris.es/mmedia/reuniones/hcs06/AccessGridv2.pdf DUVI: A Universidade acreditará a calidade de todas as salas AccessGrid de España http://duvi.uvigo.es/index.php?option=com_content&task=view&id=173&Itemid=4 http://www.ymipollo.com/~panchomachete/130618.the-grid-el-nuevo-internet.html http://www.worldcommunitygrid.org/ http://es.wikipedia.org/wiki/World_Community_Grid http://gridcafe.web.cern.ch/ Guillermo Losilla Anadón: Introducción al Grid http://bifi.unizar.es/events/clustersygrid/slides/Introduccion_al_GRID.pdf Think in grid, Smart solutions for grid computing http://www.thinkingrid.com/es/faq.php http://www.globus.org