Se presenta la plataforma ODISEA para el despliegue y configuración de infraestructuras virtuales de apoyo sobre infraestructuras Cloud tanto públicas como on-premise. Presentación realizada en Julio de 2014 en el congreso JENUI 2014.
1. GESTIÓN DE RECURSOS COMPUTACIONALES
EN EL CLOUD PARA ACTIVIDADES
EDUCATIVAS
XX Jornadas sobre la Enseñanza Universitaria de la
Informática (JENUI 2014)
Germán Moltó
Departamento de Sistemas Informáticos
y Computación (DSIC)
2. OBJETIVO DE LA PRESENTACIÓN
• Objetivo:
• Describir el uso de la plataforma ODISEA*, para el despliegue
de infraestructuras computacionales virtuales educativas en
diferentes asignaturas del Máster Universitario en
Computación Paralela y Distribuida (MUCPD) de la Universitat
Politècnica deValència.
• Índice de la presentación:
1. Introducción a las infraestructuras virtuales
2. La plataforma ODISEA
3. Experiencias de uso
4. Conclusiones
* (del inglés On-demand Deployment of Infrastructures to Support Educational Activities)
3. INTRODUCCIÓN (I)
• Numerosas asignaturas en el ámbito de la
informática requieren realizar prácticas de
laboratorio con herramientas software
específicas y/o sobre infraestructuras de
cómputo complejas.
• Ejemplos de SW:
• Compiladores, IDEs, librerías numéricas, etc.
• Ejemplos de Infraestructuras Complejas:
• Clusters de PCs, infraestructuras Grid, despliegues Cloud,
etc.
Escenario de Trabajo
4. INTRODUCCIÓN (II)
• Aproximaciones a la Gestión de Recursos
1. Uso de Recursos Hardware Dedicados
• Adquisición de equipos para uso exclusivo de una actividad, e.g.,
compra de un cluster de PCs para prácticas de alumnos.
• Problema: Uso puntual, recursos desaprovechados, re-configuración
periódica, los fallos imposibilitan la actividad educativa.
2. Uso de RecursosVirtualizados / Imágenes de Disco
• Instalación de equipos de un laboratorio en base a imágenes pre-
configuradas
• Problema: deben ser periódicamente mantenidas, no gestionan las
dependencias de infraestructuras complejas (Cluster, Grid, etc.)
3. Aprovisionamiento y ConfiguraciónAutomatizada de
Infraestructuras Complejas en el Cloud.
Gestión de Recursos Computacionales
5. CLOUD COMPUTING /
COMPUTACIÓN EN LA NUBE
• “Cloud Computing es un modelo para permitir el acceso ubicuo,
bajo demanda y a través de la red a un conjunto de recursos de
cómputo configurables que pueden ser rápidamente
aprovisionados y liberados con una mínima interacción con el
proveedor”, NIST (National Institute of Standards andTechnology).
• Proveedores de
Cloud público con
modelo de pago por
uso.
• Herramientas para la
creación de Clouds
on-premise.
6. INFRAESTRUCTURAS VIRTUALES DE
SOPORTE A LA ACTIVIDAD EDUCATIVA
• Definimos una InfraestructuraVirtual de Soporte a la
Actividad Educativa como un conjunto de máquinas
virtuales relacionadas, desplegadas sobre uno o varios
proveedores Cloud, y que disponen de la configuración
Hardware, Software y de Datos definida por el
instructor para soportar una determinada actividad
educativa Laboratorio Remoto de Prácticas
• Ejemplo: • Cluster Hadoop de 4 nodos con 2
GB de RAM, Ubuntu 12.04, con Java
JDK 1.7+, Octave, sistema de
archivos compartido, 15 cuentas de
usuario y los boletines de prácticas
disponibles en una carpeta.
7. LA PLATAFORMA ODISEA
Arquitectura y Componentes
Infrastructure
Manager
(IM)
Descripciones de
Infraestructuras
Virtuales
(RADLs)
Catálogo y Repositorio
De Imágenes de
Máquinas Virtuales
(VMRC)
AdministradorAdministrador InstructorInstructor
Infraestructura
Virtual A
Infraestructura
Virtual B
Proveedor Cloud
Configurador
(Ansible)
Interfaz Web
Repositorio de
Software
Repositorio de
Material Educativo
Alumnos
Plataforma ODISEA
8. EXPERIENCIAS DE USO
• ODISEA se ha utilizado en cuatro asignaturas del
Máster en Computación Paralela y Distribuida
(MUCPD) de la Universitat Politècnica de
València, durante 2013/2014:
• Infraestructuras Avanzadas en Grid (IAG)
• Infraestructuras Avanzadas en Cloud (IAC)
• Modelos de Programación en Grid (MPG)
• Modelos de Programación en Cloud (MPC)
• Y en el Curso Online de Cloud Computing con
AmazonWeb Services.
9. USO EN LAS ASIGNATURAS IACY MPC
• Estas asignaturas abordan el uso de infraestructuras de
Cloud Computing, ejemplificando sobre OpenNebula y
Amazon Web Services, realizando gestión y análisis de
datos en la nube usando técnicas de Big Data y
despliegue de infraestructura de cómputo escalables.
Recurso Sistema Operativo Software Hardware
ONE-UI Ubuntu 12.04 LTS Cliente OpenNebula 512 MB RAM
AWS-UI Ubuntu 12.04 LTS AWS CLI 1 GB RAM
AWS-DevOps
(2x alumno)
Ubuntu 12.04 LTS Ansible, Python 512 MB RAM
Cluster-Hadoop
(varios nodos)
Ubuntu 12.04 LTS Hadoop, Python,
HDFS
2 GB RAM
10. USO EN LAS ASIGNATURAS IAGY MPG
• Estas asignaturas abordan la programación de
aplicaciones y servicios que requieran infraestructuras
Grid tanto batch (soportadas por EMI) como orientadas
a servicio (OGSA) usando GlobusToolkit.
• Requieren que los alumnos utilicen diferentes recursos:
Recurso Sistema Operativo Software Hardware
Servidor-VOMS Scientific Linux 5.10 (64
bits)
VOMS Server 512 MB
RAM
Servidor-GT4 Scientific Linux 5.10 (64
bits)
GT 4.2, JDK 1.6,
Ant, NetBeans
1 GB RAM
EMI-UI Scientific Linux 5.10 (64
bits)
EMI-UI, OpenMPI 512 MB
RAM
OpenLDAP Scientific Linux 5.10 (64
bits)
OpenLDAP Server 1 GB RAM
11. USO DE LAS INFRAESTRUCTURAS
VIRTUALES
• El instructor define la infraestructura en un lenguaje
declarativo de alto nivel (RADL) y gestiona el ciclo de
vida de la infraestructura en su asignatura.
Tiempo
Definir
Infraestructuras
Definir Imágenes
de Máquinas
Virtuales
Definir Descripciones
de Infraestructuras
(RADLs)
Instructor
Administrador
Alumnos
Desplegar
Infraestructura A
Desplegar
Infraestructura B
Infraestructura A
Infraestructura B
Destruir B
Destruir
A
Usar AUsar B
12. EJEMPLO DE RADL SIMPLIFICADO
network public (inbound = ’yes’)
system aws-ui (
cpu.arch=’x86_64’ and cpu.count>=1 and memory.size>=1024m and
disk.0.os.name=’linux’ and disk.0.os.flavour=’ubuntu’ and disk.0.os.version>=’12.04’
)
configure aws-ui (
@begin
- vars:
- pw_00: M3Je2TpgZ3n
- ak_00: AKIAMAWOZX42O6A3SC4A
- sk_00: wy8mtS7FG0MlP5Tu4V/
tasks:
- user: name=alucloud00 password={{pw_00}}
- copy: dest=/home/alucloud00/.awssecret content="{{ak_00}} {{sk_00}}"
- get_url: url=<sdr>/{{item}} dest=/tmp
with_items:
- iacmaterial_1.0_all.deb
- command: dpkg -i /tmp/{{item}}
with_items:
- iacmaterial_1.0_all.deb
- apt: pkg=python-setuptools state=latest
Características hardware de la
infraestructura virtual.
Instalación de software en la
infraestructura virtual.
Aspectos de configuración de
la infraestructura virtual
13. CONFIGURACIÓN DE
INFRAESTRUCTURAS COMPLEJAS
• Permite el despliegue y
configuración de
infraestructuras
complejas.
• Ejemplo: Creación de
un Cluster Hadoop.
• Análisis de volúmenes
masivos de datos.
• Automatización y
repetibilidad.
Despliegue de
Infraestructura
Virtual
Configuración de
Servicios
Descarga e
Instalación de
Software
Creación de
Cluster Hadoop
Descarga y
Precarga de
Datasets en HDFS
Creación de
Cuentas de
Usuario
Configuración del
Entorno de Trabajo
Inicio Final
Infraestructura
Virtual Preparada
14. APROVISIONAMIENTO DE RECURSOS
• Los recursos de cómputo
/ almacenamiento se
aprovisionan de una
plataforma Cloud on-
premise (OpenNebula,
OpenStack, etc.) o de un
proveedor de Cloud
público (AWS, Microsoft
Azure, etc.)
• Los alumnos se conectan
vía SSH o Escritorio
Remoto.
15. INTERFAZ GRÁFICA DE ODISEA / IM (I)
Listado de Descripción de Infraestructuras Virtuales
16. INTERFAZ GRÁFICA DE ODISEA / IM (II)
Edición de Descripción de Infraestructuras Virtuales
• Edición de
RADLs
• Compartición
de RADLs
entre
usuarios.
• Profesores
que
comparten
RADLs entre
asignaturas.
17. INTERFAZ GRÁFICA DE ODISEA / IM (III)
Gestión de Credenciales de Acceso a los Clouds
18. INTERFAZ GRÁFICA DE ODISEA / IM (IV)
• Gestión del ciclo de vida de las infraestructuras virtuales.
• Detener (para reducir coste), terminar, reconfigurar.
• Información de registro del despliegue y configuración.
Gestión del Ciclo de Vida de las Infraestructuras Virtuales
19. CICLO DEVIDA DE LAS
INFRAESTRUCTURAS VIRTUALES
• Para ahorrar costes es
posible re-aprovechar el
despliegue de una
infraestructura iniciándola
únicamente para las
sesiones de laboratorio.
• Se detiene (no elimina) al
finalizar la sesión.
Aprovisionar Configurar Acceder
Detener
IniciarTerminar
Profesor
ODISEA
Ciclo de vida de 1 día
Nueva Edición o
Curso Académico
• Permite re-aprovechar los recursos hardware liberados para las
infraestructuras de otras asignaturas.
• Permite reducir el coste económico en caso de despliegue en un
Cloud público.
20. INFRAESTRUCTURAS VIRTUALES
COMO MATERIAL EDUCATIVO
• Infraestructuras
Virtuales (Laboratorios
Remotos) disponibles
para los alumnos:
• 24x7
• a discreción del
instructor
• bajo demanda
• EntornoVirtual de
Aprendizaje
(Colaborativo).
Transparencias
Guías
Didácticas
Libros
Actividades
Educativas
Actividades de
Evaluación
Actividades
Grupales …
Infraestructuras
Virtuales
21. VENTAJAS DEL USO DE ODISEA:
PROFESOR
• Desplegar una réplica de una misma infraestructura en
cuestión de minutos.
• Repetibilidad, incluso en diferentes Clouds.
• Útil para:
• Ediciones periódicas.
• En caso de fallos.
• Falta de recursos de la entidad educativa Usar Cloud
público (pago por uso).
• Compartición de infraestructuras entre docentes.
• e.g. Compartir la definición de un clúster virtual para
diferentes prácticas.
En el MUCPD de la UPV
22. VENTAJAS DEL USO DE ODISEA:
ALUMNOS
• Acceder a una mayor variedad de
infraestructuras de cómputo, necesarias para
adquirir las competencias definidas en las
asignaturas.
• Siempre disponibles durante la actividad educativa.
Servidor
VOMS
Servidor
GT4
EMI
UI
OpenLDAP
ONE
UI
AWS
UI
AWS
DevOp
s
Cluster
Hadoo
p
IAG MPG IAC MPC
23. VENTAJAS DEL USO DE ODISEA:
ENTIDAD EDUCATIVA
• Mejor racionalización de recursos
• Plataforma Cloud on-premise de la entidad educativa.
• Virtualización: Un solo nodo físico permite ejecutar decenas
de máquinas virtuales.
• Externalizar cómputo a un proveedor Cloud.
• Pago por uso en situaciones de picos de carga.
• Introducir BYOD (BringYour Own Device)
para conectarse a los laboratorios
remotos.
• Escalar ante aumentos repentinos de
matrícula de alumnos (cursos online,
MOOC).
24. USOS ADICIONALES
• Curso Online de Cloud Computing con
Amazon Web Services (AWS)
• http://www.grycap.upv.es/cursocloudaws
• 165+ alumnos,7 ediciones en menos de un año
(cada 1-2 meses).
• ODISEA ha permitido:
• Automatizar el despliegue de los laboratorios remotos.
• Cuentas de usuario
• Herramientas de acceso a AWS (AWS CLI)
• Credenciales de acceso
• Mirror del material educativo
• Ampliar la configuración de los laboratorios ante
aumentos repentinos de matrícula.
25. DISPONIBILIDAD DE LA PLATAFORMA
• ODISEA está basado en componentes de código abierto
como:
• IM (Infrastructure Manager).
• http://www.grycap.upv.es/im
• VMRC (Virtual Machine image Repository & Catalog).
• http://www.grycap.upv.es/vmrc
• También se ofrece como
aplicación web (SaaS)
• http://servproject.i3m.upv.es/im
• Registrar credenciales de
acceso a los múltiples
Clouds.
26. CONCLUSIONES
• ODISEA es una plataforma que permite desplegar
infraestructuras virtuales de soporte a la docencia
(laboratorios remotos), en múltiples plataformas Cloud.
• Los profesores automatizan el despliegue de dichas
infraestructuras, adaptadas a sus necesidades (HW, SW
y Configuración).
• Los alumnos acceden a un gran abanico de
infraestructuras de cómputo para realizar las
actividades prácticas.
• La plataforma ha sido liberada a la comunidad
académica mediante código abierto y como un servicio.
27. CONTACTO
Germán Moltó
Dpto. de Sistemas Informáticos y Computación (DSIC)
Universitat Politècnica deValència
Camino deVera s/n
46022,Valencia
SPAIN
gmolto@dsic.upv.es
http://www.grycap.upv.es/gmolto
@gmolto