CON LA CIENCIA EN LAS NUBES
CONSEJO SUPERIOR DE
INVESTIGACIONES CIENTÍFICAS
p r e s e n t e y
futuro de la
Nube Privada
C o r p o r a t i v a
del
SGAI
2/16
CUESTIONES PREVIAS (1/3)
Tres componentes fundamentales marcan la
estrategia del CSIC en materia TIC:
1. El modelo de ciencia definido en los
Planes Estratégicos corporativos.
2. El nuevo modelo de gobernanza de las
TIC de la AGE
3. Los cambios normativos generales y
sectoriales generados en la UE.
L a s
f u e r z a s
q u e
definen la
estrategia
TIC en el
CSIC
CUESTIONES PREVIAS (2/3)
Un modelo de TIC para los centros e institutos
de investigación del CSIC (Proyecto iTIC
(2007-2013))
1. 1er Objetivo (2007-2008): homogeneización
del parque TIC: Dotación de infraestructura
física homogénea a cada centro modelo
distribuido
2. 2o Objetivo (2009): virtualización de las
infraestructuras de servicio
3. 3er Objetivo (2010-2013): migración a un
modelo centralizado: independencia del mundo
físico en los centros e institutos de
investigación.
L a
resolución
d e l
problema
d e l a
dispersión
d e
sistemas
y
servicios
3/16
CUESTIONES PREVIAS (3/3)
El cambio de paradigma. Una Nube para el
CSIC (IaaS (2013-2017))
1. 1er Objetivo (2013-2015): homogeneización
la infraestructura corporativa equiparando los
centros a la Institución todo es un Virtual
Data Center.
2. 2o Objetivo (2016): creación de los VDCs de
centros.
3. 3er Objetivo (2017): migración de los
servicios a cada VDC y creación de nuevos.
U n a
n u e v a
visión de
l a s T I C
del CSIC
d e s d e
una Nube
P r i v a d a
Corporativ
a
4/16
SITUACIÓN PREVIA (1/3)
Situación
inicial y
arquitectu
r a
existente
NAS (NFS)SAN (FC)
FW
CPD Central
5/16
SITUACIÓN PREVIA (2/3)
Situación
inicial y
arquitectu
r a
existente
e n
centros
SAN (FC)
Centro
6/16
SITUACIÓN PREVIA (3/3)
Situación
inicial y
arquitectu
r a
existente
Ventajas:
‣ Más dinámica que gestión basada en hardware
‣ Mejor aprovechamiento de los recursos físicos de
cómputo y almacenamiento.
Desventajas:
‣ Complejidad de gestión en infraestructura diversa
‣ Falta de herramientas de gestión que permitan un
entorno multitenant.
‣ Dificultad para implementar soluciones que
permitan gestionar consumo de recursos según
carga utilizada del entorno.
‣ Dificultad de implementación de sistemas externos
de monitorización y ejecución eventos
automatizados según cargas.
‣ Falta de herramientas que permitan elasticidad
según necesidades de carga de los servicios.
‣ Aprovisionamiento lento debido a dificultad de
gestión de red ethernet y su control desde el punto
de vista de los clusters de virtualización.
Ventajas:
‣ Gestión distribuida
‣ Adaptabilidad al entorno
(Centro).
Desventajas:
‣ Complejidad de la
plataforma implica grandes
planes de formación
‣ Diferencias de criterio.
‣ Hardware muy pobre por
parte del fabricante (Blade
S IBM).
Centro
CPDCentral
7/16
EL PROCESO DE DECISIÓN (1/1)
Una Nube para el CSIC (IaaS (2013-2017)):
1. Análisis de plataformas de IaaS (2012):
Eucalyptus, OpenStack, oVirt, CloudStack,
OpenQRM…
2. Software de Fuente Abierta
3. Licencia única (no Pro vs. Community)
4. Flexibilidad para encajar el entorno previo en
producción
5. Interoperabilidad (nube híbrida)
6. Transición sencilla del antiguo modelo
distribuido: hipervisores de código abierto
(Xen, KVM, etc.)
7. Producto de origen académico
L a
solución
seleccion
a d a e s
OpenNeb
ula
8/16
La NPC
del CSIC
Implanta
ción de
la IaaS
LA NUBE PRIVADA CORPORATIVA (1/5)
1ª IMPLANTACIÓN
1.Implantación de los controladores (oned, onegate, oneflow,
etc) de OpenNebula sobre un cluster de oVirt (KVM).
2. El HA de los controladores o servicios de OpenNebula es
controlado por el propio oVirt.
3.servicios horizontales comunes a toda la infraestructura.
‣ Monitorización externa
‣ Gestión de la configuración
‣ DNS interno
‣ NTP interno, Etc
4. Controlador oned y la consola de gestión gráfica sunstone se
realiza en la misma máquina
5. Inicialmente implantación simple basada en:
‣ 1 servidor con oned+sunstone
‣ 1 servidor con mysql server
‣ Varios hosts con KVM
‣ Varios hosts con Xen
‣ SO implantación Centos 6 en los controladores OpenNebula
‣ SO Hosts hypervisores sobre Centos 7
9/16
1.Implantación de los controladores (oned, onegate, oneflow,
etc) de OpenNebula sobre un cluster de Proxmox VE
2. El HA de los controladores o servicios de OpenNebula es
controlado por el propio Proxmox VE
3.servicios horizontales comunes a toda la infraestructura.
‣ Monitorización externa
‣ Gestión de la configuración
‣ DNS interno
‣ NTP interno, Etc
4. Controlador oned se realiza en una máquina separada de
5. la consola de gestión gráfica sunstone que se realiza en la
otra máquina
6.Varios nodos de Sunstone balanceados
7. La implantación se basa en:
‣ 1 servidor con oned, 1 markeplace, 1 oneflow, 1 onegate y n sunstones
‣ 1 servidor con mysql server
‣ Varios hosts con KVM
‣ SO implantación Centos 7 en los controladores OpenNebula
‣ SO Hosts hypervisores sobre Centos 7
La NPC
del CSIC
Implanta
ción de
la IaaS
LA NUBE PRIVADA CORPORATIVA (2/5)
2ª IMPLANTACIÓN
10/16
La NPC
del CSIC
Implanta
ción de
la IaaS
LA NUBE PRIVADA CORPORATIVA (3/5)
2ª IMPLANTACIÓN
11/16
1. En una primera fase de implantación se realiza con la versión
4.10 de OpenNebula
2. Sunstone para su gestión y operación
3. Se integra con el LDAP Corporativo (autenticación y
autorización), para el uso y gestión de los recursos de la IaaS.
4. Personalización del driver NFS para NetApp, para realizar la
operativa habitual de gestión de imágenes (clonación,
movimiento…)
5. Hooks para su pesonalización (DDNS, HA)
6.Uso de vlanes (802.1x)
7. Clusters y VDCs para la gestión
‣ Cluster de la infraestructura corporativa de aplicativos y
servicios generales (Sistemas de Información, correo, hosting,
etc.)
‣ Cluster de infraestructura para los Centros de Investigación
8.Se realiza una asociación entre entornos y VDCs. Es decir, para
un entorno concreto se genera un VDC con recursos asociados.
La NPC
del CSIC
Implanta
ción de
la IaaS
LA NUBE PRIVADA CORPORATIVA (4/5)
Servicios y
componentes
u s a d o s d e
ONE
12/16
‣ ~ 600 máquinas virtuales
‣ + 100 técnicos dados de alta y
creciendo:
‣Técnicos de Centros de investigación
‣Administradores sistemas SGAI
‣Administradores de comunicaciones/
seguridad SGAI
‣ +900 discos virtuales o imágenes
‣ +60 TB en datastores, y creciendo
‣ +900 redes (incluyen reservas)
‣ +6000 IPs usadas
Las
cifras de
l a N u b e
P r i v a d a
Corporativ
a d e l
CSIC
LA NUBE PRIVADA CORPORATIVA (5/5)
13/16
‣ En proceso de migración a 5.2.1
‣ Incorporación de hosts con Dockers, (entorno de
Integración continua donde desplegar contenedores en
lugar de máquinas virtuales típicas)
‣ Incorporación de nuevos modelos de servicio (tales
como BDaaS)
‣ Servicios de computación (HTCaaS, HPCaaS) en el
nuevo CPD Central del CSIC
‣ SCIaaS
L a
evolución
de la NPC
del CSIC
LA EVOLUCIÓN Y EL FUTURO (1/2)
14/16
1. Las dificultades de implantación debidas a la complejidad de la
infraestructura y a la distribución de recursos y servicios se han
superado con diversos servicios de ONE
‣ Facilidad de aprovisionamiento (templates, oneflow)
‣ Robustez en migración de MVs sin pérdida de servicio.
2. La infraestructura física se ha separado de los servicios para los
Centros de Investigación, lo que ha generado sencillez y ahorro
en mantenimiento y gestión
3. ONE facilita la gestión de la demanda en entornos de gran
dinamismo como el de la Investigación científica.
4. Las necesidades de prestación de servicio bajo un modelo
transparente para el investigador llevan a implementar una
estrategia de SCIaaS
LA EVOLUCIÓN Y EL FUTURO (2/2)
L a
evolución
de la NPC
del CSIC
SCIaaS significa en la NPC del CSIC
‣ Agilidad rápida respuesta ante la demanda de recursos
‣ Sencillez no necesidad de personal TIC en los grupos de
Investigación
‣ Inteligencia dotación de herramientas de BigData e IA
‣ Potencia de computación para minimizar los tiempos
15/16
SGAIJacintoVerayAngelL.Rodríguez
CSIC2017
c o n s e j o
superior
d e
investigac
i o n e s
científicas

CSIC

  • 1.
    CON LA CIENCIAEN LAS NUBES CONSEJO SUPERIOR DE INVESTIGACIONES CIENTÍFICAS p r e s e n t e y futuro de la Nube Privada C o r p o r a t i v a del SGAI
  • 2.
    2/16 CUESTIONES PREVIAS (1/3) Trescomponentes fundamentales marcan la estrategia del CSIC en materia TIC: 1. El modelo de ciencia definido en los Planes Estratégicos corporativos. 2. El nuevo modelo de gobernanza de las TIC de la AGE 3. Los cambios normativos generales y sectoriales generados en la UE. L a s f u e r z a s q u e definen la estrategia TIC en el CSIC
  • 3.
    CUESTIONES PREVIAS (2/3) Unmodelo de TIC para los centros e institutos de investigación del CSIC (Proyecto iTIC (2007-2013)) 1. 1er Objetivo (2007-2008): homogeneización del parque TIC: Dotación de infraestructura física homogénea a cada centro modelo distribuido 2. 2o Objetivo (2009): virtualización de las infraestructuras de servicio 3. 3er Objetivo (2010-2013): migración a un modelo centralizado: independencia del mundo físico en los centros e institutos de investigación. L a resolución d e l problema d e l a dispersión d e sistemas y servicios 3/16
  • 4.
    CUESTIONES PREVIAS (3/3) Elcambio de paradigma. Una Nube para el CSIC (IaaS (2013-2017)) 1. 1er Objetivo (2013-2015): homogeneización la infraestructura corporativa equiparando los centros a la Institución todo es un Virtual Data Center. 2. 2o Objetivo (2016): creación de los VDCs de centros. 3. 3er Objetivo (2017): migración de los servicios a cada VDC y creación de nuevos. U n a n u e v a visión de l a s T I C del CSIC d e s d e una Nube P r i v a d a Corporativ a 4/16
  • 5.
    SITUACIÓN PREVIA (1/3) Situación inicialy arquitectu r a existente NAS (NFS)SAN (FC) FW CPD Central 5/16
  • 6.
    SITUACIÓN PREVIA (2/3) Situación inicialy arquitectu r a existente e n centros SAN (FC) Centro 6/16
  • 7.
    SITUACIÓN PREVIA (3/3) Situación inicialy arquitectu r a existente Ventajas: ‣ Más dinámica que gestión basada en hardware ‣ Mejor aprovechamiento de los recursos físicos de cómputo y almacenamiento. Desventajas: ‣ Complejidad de gestión en infraestructura diversa ‣ Falta de herramientas de gestión que permitan un entorno multitenant. ‣ Dificultad para implementar soluciones que permitan gestionar consumo de recursos según carga utilizada del entorno. ‣ Dificultad de implementación de sistemas externos de monitorización y ejecución eventos automatizados según cargas. ‣ Falta de herramientas que permitan elasticidad según necesidades de carga de los servicios. ‣ Aprovisionamiento lento debido a dificultad de gestión de red ethernet y su control desde el punto de vista de los clusters de virtualización. Ventajas: ‣ Gestión distribuida ‣ Adaptabilidad al entorno (Centro). Desventajas: ‣ Complejidad de la plataforma implica grandes planes de formación ‣ Diferencias de criterio. ‣ Hardware muy pobre por parte del fabricante (Blade S IBM). Centro CPDCentral 7/16
  • 8.
    EL PROCESO DEDECISIÓN (1/1) Una Nube para el CSIC (IaaS (2013-2017)): 1. Análisis de plataformas de IaaS (2012): Eucalyptus, OpenStack, oVirt, CloudStack, OpenQRM… 2. Software de Fuente Abierta 3. Licencia única (no Pro vs. Community) 4. Flexibilidad para encajar el entorno previo en producción 5. Interoperabilidad (nube híbrida) 6. Transición sencilla del antiguo modelo distribuido: hipervisores de código abierto (Xen, KVM, etc.) 7. Producto de origen académico L a solución seleccion a d a e s OpenNeb ula 8/16
  • 9.
    La NPC del CSIC Implanta ciónde la IaaS LA NUBE PRIVADA CORPORATIVA (1/5) 1ª IMPLANTACIÓN 1.Implantación de los controladores (oned, onegate, oneflow, etc) de OpenNebula sobre un cluster de oVirt (KVM). 2. El HA de los controladores o servicios de OpenNebula es controlado por el propio oVirt. 3.servicios horizontales comunes a toda la infraestructura. ‣ Monitorización externa ‣ Gestión de la configuración ‣ DNS interno ‣ NTP interno, Etc 4. Controlador oned y la consola de gestión gráfica sunstone se realiza en la misma máquina 5. Inicialmente implantación simple basada en: ‣ 1 servidor con oned+sunstone ‣ 1 servidor con mysql server ‣ Varios hosts con KVM ‣ Varios hosts con Xen ‣ SO implantación Centos 6 en los controladores OpenNebula ‣ SO Hosts hypervisores sobre Centos 7 9/16
  • 10.
    1.Implantación de loscontroladores (oned, onegate, oneflow, etc) de OpenNebula sobre un cluster de Proxmox VE 2. El HA de los controladores o servicios de OpenNebula es controlado por el propio Proxmox VE 3.servicios horizontales comunes a toda la infraestructura. ‣ Monitorización externa ‣ Gestión de la configuración ‣ DNS interno ‣ NTP interno, Etc 4. Controlador oned se realiza en una máquina separada de 5. la consola de gestión gráfica sunstone que se realiza en la otra máquina 6.Varios nodos de Sunstone balanceados 7. La implantación se basa en: ‣ 1 servidor con oned, 1 markeplace, 1 oneflow, 1 onegate y n sunstones ‣ 1 servidor con mysql server ‣ Varios hosts con KVM ‣ SO implantación Centos 7 en los controladores OpenNebula ‣ SO Hosts hypervisores sobre Centos 7 La NPC del CSIC Implanta ción de la IaaS LA NUBE PRIVADA CORPORATIVA (2/5) 2ª IMPLANTACIÓN 10/16
  • 11.
    La NPC del CSIC Implanta ciónde la IaaS LA NUBE PRIVADA CORPORATIVA (3/5) 2ª IMPLANTACIÓN 11/16
  • 12.
    1. En unaprimera fase de implantación se realiza con la versión 4.10 de OpenNebula 2. Sunstone para su gestión y operación 3. Se integra con el LDAP Corporativo (autenticación y autorización), para el uso y gestión de los recursos de la IaaS. 4. Personalización del driver NFS para NetApp, para realizar la operativa habitual de gestión de imágenes (clonación, movimiento…) 5. Hooks para su pesonalización (DDNS, HA) 6.Uso de vlanes (802.1x) 7. Clusters y VDCs para la gestión ‣ Cluster de la infraestructura corporativa de aplicativos y servicios generales (Sistemas de Información, correo, hosting, etc.) ‣ Cluster de infraestructura para los Centros de Investigación 8.Se realiza una asociación entre entornos y VDCs. Es decir, para un entorno concreto se genera un VDC con recursos asociados. La NPC del CSIC Implanta ción de la IaaS LA NUBE PRIVADA CORPORATIVA (4/5) Servicios y componentes u s a d o s d e ONE 12/16
  • 13.
    ‣ ~ 600máquinas virtuales ‣ + 100 técnicos dados de alta y creciendo: ‣Técnicos de Centros de investigación ‣Administradores sistemas SGAI ‣Administradores de comunicaciones/ seguridad SGAI ‣ +900 discos virtuales o imágenes ‣ +60 TB en datastores, y creciendo ‣ +900 redes (incluyen reservas) ‣ +6000 IPs usadas Las cifras de l a N u b e P r i v a d a Corporativ a d e l CSIC LA NUBE PRIVADA CORPORATIVA (5/5) 13/16
  • 14.
    ‣ En procesode migración a 5.2.1 ‣ Incorporación de hosts con Dockers, (entorno de Integración continua donde desplegar contenedores en lugar de máquinas virtuales típicas) ‣ Incorporación de nuevos modelos de servicio (tales como BDaaS) ‣ Servicios de computación (HTCaaS, HPCaaS) en el nuevo CPD Central del CSIC ‣ SCIaaS L a evolución de la NPC del CSIC LA EVOLUCIÓN Y EL FUTURO (1/2) 14/16
  • 15.
    1. Las dificultadesde implantación debidas a la complejidad de la infraestructura y a la distribución de recursos y servicios se han superado con diversos servicios de ONE ‣ Facilidad de aprovisionamiento (templates, oneflow) ‣ Robustez en migración de MVs sin pérdida de servicio. 2. La infraestructura física se ha separado de los servicios para los Centros de Investigación, lo que ha generado sencillez y ahorro en mantenimiento y gestión 3. ONE facilita la gestión de la demanda en entornos de gran dinamismo como el de la Investigación científica. 4. Las necesidades de prestación de servicio bajo un modelo transparente para el investigador llevan a implementar una estrategia de SCIaaS LA EVOLUCIÓN Y EL FUTURO (2/2) L a evolución de la NPC del CSIC SCIaaS significa en la NPC del CSIC ‣ Agilidad rápida respuesta ante la demanda de recursos ‣ Sencillez no necesidad de personal TIC en los grupos de Investigación ‣ Inteligencia dotación de herramientas de BigData e IA ‣ Potencia de computación para minimizar los tiempos 15/16
  • 16.
    SGAIJacintoVerayAngelL.Rodríguez CSIC2017 c o ns e j o superior d e investigac i o n e s científicas