Grid Computing



      1
∗ When the network is as fast as the computer's internal
  links, the machine disintegrates across the net into a set
  of special purpose appliances.
  -- Gilder Technology Report, June 2000.




                             2
Grid Computing: Un Nuevo Paradigma ?
∗ Recursos distribuidos a lo largo del mundo
  ∗   Compute servers                                   QuickTime™ and a

  ∗   Handhelds
                                                   Photo - JPEG decompressor
                                                  are needed to see this picture.


  ∗   File servers
  ∗   Networks
  ∗   Playstations, cell phones etc…
∗ Como tomar ventaja
de ellos para simulaciones
cientificas/tecnlogicas?
                                               QuickTime™ and a Photo decompressor are needed to see this picture.




                                       3
Grid Computing
∗ Extensión del Paradigma “Distributed Computing “
∗ “ conecta los recursos de multiples computadoras para
  trabajar simultaneamente en un único problema complejo
  “ (IEEE Computer Dec 01)




                           4
Grid
∗ Protocolos, Servicios y Aplicaciones que permiten una
nueva forma de colaboración.
∗ Recursos Globales disponibles para las comunidades de
investigadores
∗“Access Grid” para comunicación y colaboración




                             5
Grid
∗ “ A computational grid is a
hardware and software
infraestructure that provides
dependable , consistent ,
pervasive , and inexpensive
access to high-end
computational capabilities “




                                6
Grid


∗ Tecnología cuyo objetivo es la compartición de
  recursos en Internet de forma uniforme,
  transparente, segura, eficiente y fiable
∗ EL termino Grid se empezó a utilizar a mediados de
  los 90 en el mundo académico para denotar a
  Sistemas de Computación Distribuidos que pueden
  proveer servicios de computo bajo demanda de forma
  análoga a las redes de suministro eléctrico o de agua
  potable.

                           7
Una definición aceptada :


A Grid is a system that...
1) ...coordinates resources that are not subject to a
  centralized control...
2) ...using standard, open, general-purpose protocols and
  interfaces...
3) ...to deliver nontrivial qualities of services.



                            8
Power Grid /Grid


∗ Suministro eléctrico
  ∗ Se produce más económicamente de forma centralizada
  ∗ Se accede a través de una interfaz de conexión estandarizada
  ∗ Se caracteriza por una métrica muy simple
∗ Grid
  ∗ Los recursos computacionales son producidos más
    económicamente de forma distribuida con clusters
  ∗ Se caracterizan por una métrica altamente compleja
  ∗ Se accede mediante interfaces de software en proceso de
    estandarización
                               9
Clasificacion


∗ Computational Grid
∗ Data Grid
∗ Network Grid




                       10
Global Grid Forum


∗ http://www.gridforum.org/
∗ Organismo encargado de crear estándares de servicios y
  protocolos para crear la infraestructura grid
∗ Grupos de trabajo
  ∗   Aplicaciones y entornos de programación
  ∗   Arquitectura
  ∗   Datos
  ∗   Redes Peer-to-Peer
  ∗   Planificación y gestión de recursos
  ∗   Seguridad
                                11
Tecnología Globus


∗ Colección de componentes software de código abierto que
  permite construir grids
∗ http://www.globus.org/
∗ Globus Toolkit permite compartir recursos localizados en
  diferentes dominios de administración, con diferentes
  políticas de seguridad y gestión de recursos.
∗ Globus es…
  ∗ Un middleware software
  ∗ Un conjunto de bibliotecas, servicios y APIs
∗ Globus no es
  ∗ Una herramienta de usuario o planificador
  ∗ Una aplicación

                                  12
Taxonomía de Globus
                                       Aplicaciones

 DRM                        Servicios y Herramientas                                      Grid Status


 Cactus            MPI           globusrun             GridWay           Nimrod/G           Condor-G



                                      Servicios Globus
   GASS                                                                                   GRAM
                  Metacomputing               Globus
                  Directory Service                              Replica Catalog
                                              Security
  GridFTP                                    Interface                                      I/O




Condor      MPI                          Servicios                                  TCP           UDP

                                          locales                                                 Solaris
 LSF        PBS            SGE                                        Linux         AIX



                                       Recursos
                                                  13
Versión 2 de Globus


∗ Componentes de Globus
  ∗ Seguridad: proporciona autenticación, delegación y
    autorización
  ∗ Gestión de recursos: proporciona ejecución remota,
    control y monitorización
  ∗ Servicios de información: información acerca de los
    servicios grid
  ∗ Gestión de datos: acceso y gestión de datos


                             14
Infraestructura de seguridad


∗ Globus Secutiry Infraestructure (GSI)
∗ Objetivos:
  ∗ Comunicación segura entre elementos del grid
  ∗ Ofrecer seguridad a través de diversos dominios
    administrativos. No debe haber un sistema de seguridad
    centralizado
  ∗ Registro único (single sign-on) para los usuarios



                            15
Componentes de GSI


∗ GSI utiliza criptografía de clave pública
∗ Cada usuario y servicio del grid se identifica mediante un
  certificado
  ∗   Nombre del elemento
  ∗   Clave pública
  ∗   Identidad de la autoridad de certificación (CA)
  ∗   Firma digital de la CA
∗ Autenticación mutua
∗ Confidencialidad e integridad de la comunicación
∗ Delegación de certificados

                                  16
Autenticación mutua


∗ A  B (A establece una conexión con B y le da su certificado)
∗ El certificado le indica a B quién afirma ser A, su clave pública y el
  CA
∗ B verifica que el certificado es válido comprobando la firma
  digital de la CA
∗ B genera un mensaje aleatorio  A y le pide que lo cifre
∗ A cifra el mensaje y se lo envía a B
∗ B descifra el mensaje utilizando la clave pública de A. Si el
  mensaje es el mismo, entonces A es quién dice ser.

                                   17
Integridad de las comunicaciones


∗ GSI se puede utilizar para establecer claves
  compartidas (simétricas) que permiten cifrar la
  comunicación si se desea. Por defecto la
  comunicación no es cifrada
∗ Proporciona integridad de en la comunicación para
  protegerse de manipulaciones externas.
  ∗ El emisor realiza un resumen del mensaje que cifra con
    su clave privada.

                             18
Delegación de certificados


∗ Se utiliza para reducir el número de veces que un
  usuario debe introducir su contraseña.
∗ Cuanto una computación requiere varios recursos que
  requieren autenticación mutua se utilizan certificados
  delegados




                           19
Gestión de recursos


∗ GRAM (Globus resource allocation manager) es el
  gestor de asignación de recursos
∗ Incluye un lenguaje de especificación de recursos
  utilizado por los clientes para describir los recursos
  que se solicitan cuando se envían trabajos al grid




                             20
Servicios de información


∗ Servicio de descubrimiento y monitorización (MDS)
∗ Utiliza LDAP (lightweight directory access protocol)
  como interfaz
∗ LDAP es un protocolo cliente/servidor (no una base
  de datos) que se utiliza para crear, modificar,
  recuperar y borrar datos



                            21
Gestión de datos


∗ GASS: sistema de acceso global a almacenamiento
  secundario para la transferencia de ficheros de
  entrada y salida utilizando antes y después de la
  ejecución de un trabajo.
∗ GridFTP: protocolo de transferencia de datos
  eficiente, seguro y fiable.
∗ Servicio de catalogo de réplicas para registrar la
  localización de las copias de un fichero

                           22
Globus toolkit 3
                         Domain-Specific Services
Standardization




                    Program
                                          Data Services
                   Execution

                               Core Services

                  OGSI (Open grid service Architecture)

                               Web Services
                                     23
Globus Toolkit
                               4
                        Domain-Specific Services
Standardization




                   Program
                                          Data Services
                  Execution

                              Core Services

                  WSRF – Web Services Resource Framework

                              Web Services
                                   24
Convergencia Grid/Web

       GT1
Grid
                  GT2
                                  OGSI

             Have been
             converging                     WSRF

                                       2,
                                  WSDL
                         ,         WSDM
                    WSDL
Web                  WS-*
       HTTP



                             25
Proyectos Grid


∗ Grid Physics Network project www.griphyn.org
∗ European Data Grid grid.web.cern.ch/grid
∗ Particle Physics Data Grid www.ppdg.net
∗ Network for Earthquake Engineering Simulation Grid
  www.neesgrid.org
∗ The Globus Project www.globus.org
∗ The Global Grid Forum www.gridforum.org

                          26

Grid computing

  • 1.
  • 2.
    ∗ When thenetwork is as fast as the computer's internal links, the machine disintegrates across the net into a set of special purpose appliances. -- Gilder Technology Report, June 2000. 2
  • 3.
    Grid Computing: UnNuevo Paradigma ? ∗ Recursos distribuidos a lo largo del mundo ∗ Compute servers QuickTime™ and a ∗ Handhelds Photo - JPEG decompressor are needed to see this picture. ∗ File servers ∗ Networks ∗ Playstations, cell phones etc… ∗ Como tomar ventaja de ellos para simulaciones cientificas/tecnlogicas? QuickTime™ and a Photo decompressor are needed to see this picture. 3
  • 4.
    Grid Computing ∗ Extensióndel Paradigma “Distributed Computing “ ∗ “ conecta los recursos de multiples computadoras para trabajar simultaneamente en un único problema complejo “ (IEEE Computer Dec 01) 4
  • 5.
    Grid ∗ Protocolos, Serviciosy Aplicaciones que permiten una nueva forma de colaboración. ∗ Recursos Globales disponibles para las comunidades de investigadores ∗“Access Grid” para comunicación y colaboración 5
  • 6.
    Grid ∗ “ Acomputational grid is a hardware and software infraestructure that provides dependable , consistent , pervasive , and inexpensive access to high-end computational capabilities “ 6
  • 7.
    Grid ∗ Tecnología cuyoobjetivo es la compartición de recursos en Internet de forma uniforme, transparente, segura, eficiente y fiable ∗ EL termino Grid se empezó a utilizar a mediados de los 90 en el mundo académico para denotar a Sistemas de Computación Distribuidos que pueden proveer servicios de computo bajo demanda de forma análoga a las redes de suministro eléctrico o de agua potable. 7
  • 8.
    Una definición aceptada: A Grid is a system that... 1) ...coordinates resources that are not subject to a centralized control... 2) ...using standard, open, general-purpose protocols and interfaces... 3) ...to deliver nontrivial qualities of services. 8
  • 9.
    Power Grid /Grid ∗Suministro eléctrico ∗ Se produce más económicamente de forma centralizada ∗ Se accede a través de una interfaz de conexión estandarizada ∗ Se caracteriza por una métrica muy simple ∗ Grid ∗ Los recursos computacionales son producidos más económicamente de forma distribuida con clusters ∗ Se caracterizan por una métrica altamente compleja ∗ Se accede mediante interfaces de software en proceso de estandarización 9
  • 10.
    Clasificacion ∗ Computational Grid ∗Data Grid ∗ Network Grid 10
  • 11.
    Global Grid Forum ∗http://www.gridforum.org/ ∗ Organismo encargado de crear estándares de servicios y protocolos para crear la infraestructura grid ∗ Grupos de trabajo ∗ Aplicaciones y entornos de programación ∗ Arquitectura ∗ Datos ∗ Redes Peer-to-Peer ∗ Planificación y gestión de recursos ∗ Seguridad 11
  • 12.
    Tecnología Globus ∗ Colecciónde componentes software de código abierto que permite construir grids ∗ http://www.globus.org/ ∗ Globus Toolkit permite compartir recursos localizados en diferentes dominios de administración, con diferentes políticas de seguridad y gestión de recursos. ∗ Globus es… ∗ Un middleware software ∗ Un conjunto de bibliotecas, servicios y APIs ∗ Globus no es ∗ Una herramienta de usuario o planificador ∗ Una aplicación 12
  • 13.
    Taxonomía de Globus Aplicaciones DRM Servicios y Herramientas Grid Status Cactus MPI globusrun GridWay Nimrod/G Condor-G Servicios Globus GASS GRAM Metacomputing Globus Directory Service Replica Catalog Security GridFTP Interface I/O Condor MPI Servicios TCP UDP locales Solaris LSF PBS SGE Linux AIX Recursos 13
  • 14.
    Versión 2 deGlobus ∗ Componentes de Globus ∗ Seguridad: proporciona autenticación, delegación y autorización ∗ Gestión de recursos: proporciona ejecución remota, control y monitorización ∗ Servicios de información: información acerca de los servicios grid ∗ Gestión de datos: acceso y gestión de datos 14
  • 15.
    Infraestructura de seguridad ∗Globus Secutiry Infraestructure (GSI) ∗ Objetivos: ∗ Comunicación segura entre elementos del grid ∗ Ofrecer seguridad a través de diversos dominios administrativos. No debe haber un sistema de seguridad centralizado ∗ Registro único (single sign-on) para los usuarios 15
  • 16.
    Componentes de GSI ∗GSI utiliza criptografía de clave pública ∗ Cada usuario y servicio del grid se identifica mediante un certificado ∗ Nombre del elemento ∗ Clave pública ∗ Identidad de la autoridad de certificación (CA) ∗ Firma digital de la CA ∗ Autenticación mutua ∗ Confidencialidad e integridad de la comunicación ∗ Delegación de certificados 16
  • 17.
    Autenticación mutua ∗ A B (A establece una conexión con B y le da su certificado) ∗ El certificado le indica a B quién afirma ser A, su clave pública y el CA ∗ B verifica que el certificado es válido comprobando la firma digital de la CA ∗ B genera un mensaje aleatorio  A y le pide que lo cifre ∗ A cifra el mensaje y se lo envía a B ∗ B descifra el mensaje utilizando la clave pública de A. Si el mensaje es el mismo, entonces A es quién dice ser. 17
  • 18.
    Integridad de lascomunicaciones ∗ GSI se puede utilizar para establecer claves compartidas (simétricas) que permiten cifrar la comunicación si se desea. Por defecto la comunicación no es cifrada ∗ Proporciona integridad de en la comunicación para protegerse de manipulaciones externas. ∗ El emisor realiza un resumen del mensaje que cifra con su clave privada. 18
  • 19.
    Delegación de certificados ∗Se utiliza para reducir el número de veces que un usuario debe introducir su contraseña. ∗ Cuanto una computación requiere varios recursos que requieren autenticación mutua se utilizan certificados delegados 19
  • 20.
    Gestión de recursos ∗GRAM (Globus resource allocation manager) es el gestor de asignación de recursos ∗ Incluye un lenguaje de especificación de recursos utilizado por los clientes para describir los recursos que se solicitan cuando se envían trabajos al grid 20
  • 21.
    Servicios de información ∗Servicio de descubrimiento y monitorización (MDS) ∗ Utiliza LDAP (lightweight directory access protocol) como interfaz ∗ LDAP es un protocolo cliente/servidor (no una base de datos) que se utiliza para crear, modificar, recuperar y borrar datos 21
  • 22.
    Gestión de datos ∗GASS: sistema de acceso global a almacenamiento secundario para la transferencia de ficheros de entrada y salida utilizando antes y después de la ejecución de un trabajo. ∗ GridFTP: protocolo de transferencia de datos eficiente, seguro y fiable. ∗ Servicio de catalogo de réplicas para registrar la localización de las copias de un fichero 22
  • 23.
    Globus toolkit 3 Domain-Specific Services Standardization Program Data Services Execution Core Services OGSI (Open grid service Architecture) Web Services 23
  • 24.
    Globus Toolkit 4 Domain-Specific Services Standardization Program Data Services Execution Core Services WSRF – Web Services Resource Framework Web Services 24
  • 25.
    Convergencia Grid/Web GT1 Grid GT2 OGSI Have been converging WSRF 2, WSDL , WSDM WSDL Web WS-* HTTP 25
  • 26.
    Proyectos Grid ∗ GridPhysics Network project www.griphyn.org ∗ European Data Grid grid.web.cern.ch/grid ∗ Particle Physics Data Grid www.ppdg.net ∗ Network for Earthquake Engineering Simulation Grid www.neesgrid.org ∗ The Globus Project www.globus.org ∗ The Global Grid Forum www.gridforum.org 26