SlideShare una empresa de Scribd logo
El papel del Cloud Computing en BD & DS
Javier Cacheiro López
jlopez@cesga.es
Contenido
 Soluciones Cloud
 Cloud Federado: EGI FedCloud
 BigData en FedCloud
 Conclusiones
Cloud
Cloud
Modelos Cloud
 Infrastructure as a Service (IaaS)
 Amazon EC2
 Platform as a Service (PaaS)
 Salesforce, Google App Engine
 Software as a Service (SaaS)
 Google Docs
Escalabilidad
Escalabilidad vertical: Scale up
Escalabilidad horizontal: Scale out
Virtualización
Virtual Machine Monitor (VMM)
VMM / Hipervisor
Hardware Máquina Física
Máquina
Virtual
Máquina
Virtual
Máquina
Virtual
Anillos de Protección
Tipos de VMM
 VMM Tipo 1 (bare metal)
 Anillo 0
 Hipervisor directamente sobre el hardware
 VMM Tipo 2 (hosted)
 Anillo 3
 Hipervisor dentro de un SO
Modos de Virtualización
Descripción Ventajas Ejemplos
Rendimiento Xen PV
Rendimiento KVM, Xen HVM
Desventaj
as
Virtualización
completa (full
virtualization)
Simulación completa del
hardware de la máquina física
Pérdida de
rendimiento
No es necesario
modificar el SO
de la MV
VMWare
Workstation,
VirtualBox
Paravirtualización
Simulación parcial del hardware
de la máquina física. La MV es
consciente de que corre en un
entorno virtual.
Es
necesario
modificar el
SO de la MV
para que se
ejecute en
el anillo 1
Virtualización
asistida por
hardware (Native
Virtualization)
Virtualización total que se
aprovecha del soporte para
virtualización presente en el
hardware como las extensiones
VT de Intel o Pacifica de AMD
Es
necesario
hardware
específico
Soluciones de Virtualización en entornos cloud
 Xen
 KVM
 VMware
 Hyper-V
Xen: Conceptos Básicos
 Dom0: el SO anfitrión con el kernel de Xen
 DomU: cada una de las máquinas virtuales
 VIF: Virtual Network Inferface
 VBD: Virtual Block Device
 HVM: Virtualización con soporte hardware
Linux paravirt_ops (pv-ops)
 Pv-ops es una parte del kernel de Linux que le
permite ejecutarse como máquina paravirtual
 Está disponible para x86, x86_64 e ia64
 El mismo kernel puede arrancar nativamente
en el hardware físico o como máquina
paravirtual
 Xen y VMware tienen soporte de pv-ops
Xen StubDom
 StubDom representa un nuevo modelo de
gestión de dispositivos para MV HVM
disponible a partir de Xen 3.3
 El nuevo modelo utiliza un mini-SO para tareas
como acceso a disco, a dispositivos de vídeo o
a memoria
 Se consigure una mejora considerable de
rendimiento
KVM: Conceptos Básicos
 Requiere de un procesador con soporte de
virtualización
 Soporta paravirtualización para ciertos drivers a
través de VirtIO
 RHEL6 añade KVM y elimina Xen
Virtualización Completa vs Paravirtualización
MicroKernel
Hardware
Máquina
Virtual
Máquina
Virtual
Máquina
Virtual
Driver Driver
API Gestión Traducción Binaria
Hipervisor
Hardware
Máquina
Virtual
Máquina
Virtual
Máquina
Virtual
API Gestión API Hardware Virtual HVM
Virtualización Completa Paravirtualización
Xen vs KVM: Linpack
Xen vs KVM: I/O
Standards
 Open Virtualization Format (OVF): Formato
standard para exportar máquinas virtuales
entre VMMs
 Virtual Machine Disk Format (VMDK): Formato
standard para la creación de discos virtuales
(usado principalmente por VMware)
 VMI: Interfaz alternativo a pv-ops desarrollado
por VMware (eliminado a partir del kernel
2.6.37)
Consideraciones prácticas
 Las máquinas virtuales HVM y con
virtualización total pueden presentar problemas
con el reloj del sistema
 Muchos VMM no gestionan eficiencientemente
MV multi-procesador
 El rendimiento de ficheros y LVM para
almacenar las MV es similar
 Algunas distribuciones de Linux incluyen una
versión de /lib/tls que no es compatible con Xen
(es recomendable deshabilitarla)
Soluciones Cloud IaaS
IaaS Pública IaaS Privada
Google Compute Engine
Public IaaS: Hipervisores
 AWS Amazon EC2:
 Xen en general y Xen HVM para instancias tipo:
cluster compute, high I/O, second generation (m3)
and Windows
 Rackspace:
 Xen para Linux y XenServer para Windows
 Google Compute Engine
 KVM
 Windows Azure
 Hyper-V
IaaS
Comparativa
Fuente: http://blog.opennebula.org/?p=4042
Arquitectura OpenNebula
Almacenamiento Cloud
Evolución soluciones almacenamiento
Almacenamiento local
SAN
Distributed Replicated Block Device (DRDB)
Object Storage
Tipos de Almacenamiento
Object Storage
Amazon S3
OpenStack Swift
Ceph
File Storage
NAS (NFS, CIFS)
GlusterFS
Ceph FS
Block Storage
SAS/SATA/iSCSI
Amazon EBS
Ceph RDB
Object Storage
 Escalable:
 Posibilidad de ampliar/reducir el almacenamiento
 Barato:
 Agrega los discos locales de muchos servidores
 Replicación automática:
 Tolerancia a fallos
 Interfaz http: usualmente API REST
Object Storage: Ejemplos
 Amazon S3
 OpenStack Swift
 Ceph
 Object Storage: Ceph filesystem
 Block Storage: Ceph RADOS Block Device (RDB)
 File Storage: Ceph FS
 GlusterFS
Object Storage: Inconvenientes
 Si se actualiza un fichero hay que esperar a
que se propaguen los cambios a todas la
réplicas
 Preferible para almacenar datos que no
cambian mucho
 Interfaz http
Soluciones de Almacenamiento IaaS
AWS
Object Storage Block Storage
Simple Storage Service (S3) Elastic Block Storage (EBS)
OpenStack Swift Ceph, GlusterFS, NetApp
Eucalyptus Walrus Storage Controller (SC)
CloudStack Swift Ceph
OpenNebula Ceph
Cloud Federado
EGI FedCloud
MonitorizaciónMonitorización
AccountingAccounting
OpenNebula
3.x
MySQL
database
MySQL
database
Summarized records
Running /stopped/finished VMs
Summarized records
Running /stopped/finished VMs
meghacloud.cesga.es
Apelglobalrepo.
Ejecutando Hadoop en FedCloud
Configuración de Hadoop
N+1 Hadoop cluster
 1 Master
 NameNode / Secondary NameNode
 JobTracker
 N Slaves
 DataNode
 TaskTracker
Despliegue del cluster
Tiempo de despliegue de un cluster Hadoop de
101 nodos
 Obtener identificador: 71-86 min
 Tiempo total: 2,5-3 horas
Despliegue: Carga en el frontend
Despliegue: Uso de red
Enciclopedia Británica
Wikipedia
GAIA
GAIA
 Misión de la ESA para elaborar un mapa
tridimensional de nuestra Galaxia, la vía
láctea: http://sci.esa.int/gaia/
 El satélite será lanzado en agosto
 Datos a analizar: ~1PB
GAIA
Se analizaron distintas soluciones:
• Cassandra
• Hadoop
• InterSystems Cache
• IBM DB2
• PostgreSQL 9 + Pl/Proxy2 + Cassandra
GAIA
 Solución elegida: Hadoop
GAIA: Escalabilidad en FedCloud
Conclusiones
BigData + Cloud
Ejecutar BigData sobre una plataforma IaaS
ofrece ventajas e inconvenientes
Pros
 Elasticidad: tanta como tenga la aplicación
 Rapidez para obtener recursos
 Facilidad en la configuración
 Sencillez en el despliegue
 Ideal para pruebas
Contras
 Tiempo de despliegue:
 Es necesario optimizar el gestor cloud para mejorar
el tiempo de despliegue
 Rendimiento
 Es necesario optimizar las MV para mejorar su
rendimiento de E/S
 Entorno heterogéneo
 Rendimiento de cada MV variable dependiendo
de la carga del anfitrión

Más contenido relacionado

La actualidad más candente

Virtualization Station
Virtualization StationVirtualization Station
Virtualization Station
Fernando Barrientos
 
Veeam Agents para Linux y Microsoft Windows
Veeam Agents para Linux y Microsoft Windows Veeam Agents para Linux y Microsoft Windows
Veeam Agents para Linux y Microsoft Windows
Jorge de la Cruz
 
Docker 2014 v2
Docker 2014 v2Docker 2014 v2
Docker 2014 v2
Gustavo Muslera
 
Virtualizacion De Servidores De Infraestructura Microsoft
Virtualizacion De Servidores De Infraestructura MicrosoftVirtualizacion De Servidores De Infraestructura Microsoft
Virtualizacion De Servidores De Infraestructura Microsoft
David Armas Armas
 
Módulo de Alta Disponibilidad de Elastix
Módulo de Alta Disponibilidad de ElastixMódulo de Alta Disponibilidad de Elastix
Módulo de Alta Disponibilidad de Elastix
PaloSanto Solutions
 
Informe laboratorio 1 kvm
Informe laboratorio 1 kvmInforme laboratorio 1 kvm
Informe laboratorio 1 kvm
Helenio Corvacho
 
La era de la Virtualización y sus beneficios para las empresas
La era de la Virtualización y sus beneficios para las empresasLa era de la Virtualización y sus beneficios para las empresas
La era de la Virtualización y sus beneficios para las empresas
Mundo Contact
 
Introducción a VMware vSAN
Introducción a VMware vSANIntroducción a VMware vSAN
Introducción a VMware vSAN
Leandro Ariel Leonhardt
 
Proyecto XenServer
Proyecto XenServerProyecto XenServer
Proyecto XenServer
Pol Grandes
 
Como reducir costos en AWS
Como reducir costos en AWSComo reducir costos en AWS
Como reducir costos en AWS
Amazon Web Services LATAM
 
Virtualizar o no virtualizar, esa es la cuestión | SolidQ Summit 2012
Virtualizar o no virtualizar, esa es la cuestión | SolidQ Summit 2012Virtualizar o no virtualizar, esa es la cuestión | SolidQ Summit 2012
Virtualizar o no virtualizar, esa es la cuestión | SolidQ Summit 2012
SolidQ
 
Cbs aws-fundamentals-3
Cbs aws-fundamentals-3Cbs aws-fundamentals-3
Cbs aws-fundamentals-3
Luis Merino Troncoso
 
Proyecto Integrado ASIR
Proyecto Integrado ASIRProyecto Integrado ASIR
Proyecto Integrado ASIR
Francisco José Cruz Jiménez
 
Esx, vcenter, vclient, vmotion, freenas
Esx, vcenter, vclient, vmotion, freenas Esx, vcenter, vclient, vmotion, freenas
Esx, vcenter, vclient, vmotion, freenas
Stalin Eduardo Tusa Vitar
 
Vmware
VmwareVmware
Vmware
yslin2904
 
EC2 Cómputo en la nube a profundidad
EC2 Cómputo en la nube a profundidad EC2 Cómputo en la nube a profundidad
EC2 Cómputo en la nube a profundidad
Amazon Web Services LATAM
 
Veeam Fastscp Español
Veeam Fastscp EspañolVeeam Fastscp Español
Veeam Fastscp Español
Suministros Obras y Sistemas
 
Congreso del mediterraneo_xen_server_v010
Congreso del mediterraneo_xen_server_v010Congreso del mediterraneo_xen_server_v010
Congreso del mediterraneo_xen_server_v010Javier Sanchez Alcazar
 
Virtualización
VirtualizaciónVirtualización
Virtualización
Oscar
 
OpenNebula Oneflow: give me the flow!
OpenNebula Oneflow: give me the flow!OpenNebula Oneflow: give me the flow!
OpenNebula Oneflow: give me the flow!
OpenNebula Project
 

La actualidad más candente (20)

Virtualization Station
Virtualization StationVirtualization Station
Virtualization Station
 
Veeam Agents para Linux y Microsoft Windows
Veeam Agents para Linux y Microsoft Windows Veeam Agents para Linux y Microsoft Windows
Veeam Agents para Linux y Microsoft Windows
 
Docker 2014 v2
Docker 2014 v2Docker 2014 v2
Docker 2014 v2
 
Virtualizacion De Servidores De Infraestructura Microsoft
Virtualizacion De Servidores De Infraestructura MicrosoftVirtualizacion De Servidores De Infraestructura Microsoft
Virtualizacion De Servidores De Infraestructura Microsoft
 
Módulo de Alta Disponibilidad de Elastix
Módulo de Alta Disponibilidad de ElastixMódulo de Alta Disponibilidad de Elastix
Módulo de Alta Disponibilidad de Elastix
 
Informe laboratorio 1 kvm
Informe laboratorio 1 kvmInforme laboratorio 1 kvm
Informe laboratorio 1 kvm
 
La era de la Virtualización y sus beneficios para las empresas
La era de la Virtualización y sus beneficios para las empresasLa era de la Virtualización y sus beneficios para las empresas
La era de la Virtualización y sus beneficios para las empresas
 
Introducción a VMware vSAN
Introducción a VMware vSANIntroducción a VMware vSAN
Introducción a VMware vSAN
 
Proyecto XenServer
Proyecto XenServerProyecto XenServer
Proyecto XenServer
 
Como reducir costos en AWS
Como reducir costos en AWSComo reducir costos en AWS
Como reducir costos en AWS
 
Virtualizar o no virtualizar, esa es la cuestión | SolidQ Summit 2012
Virtualizar o no virtualizar, esa es la cuestión | SolidQ Summit 2012Virtualizar o no virtualizar, esa es la cuestión | SolidQ Summit 2012
Virtualizar o no virtualizar, esa es la cuestión | SolidQ Summit 2012
 
Cbs aws-fundamentals-3
Cbs aws-fundamentals-3Cbs aws-fundamentals-3
Cbs aws-fundamentals-3
 
Proyecto Integrado ASIR
Proyecto Integrado ASIRProyecto Integrado ASIR
Proyecto Integrado ASIR
 
Esx, vcenter, vclient, vmotion, freenas
Esx, vcenter, vclient, vmotion, freenas Esx, vcenter, vclient, vmotion, freenas
Esx, vcenter, vclient, vmotion, freenas
 
Vmware
VmwareVmware
Vmware
 
EC2 Cómputo en la nube a profundidad
EC2 Cómputo en la nube a profundidad EC2 Cómputo en la nube a profundidad
EC2 Cómputo en la nube a profundidad
 
Veeam Fastscp Español
Veeam Fastscp EspañolVeeam Fastscp Español
Veeam Fastscp Español
 
Congreso del mediterraneo_xen_server_v010
Congreso del mediterraneo_xen_server_v010Congreso del mediterraneo_xen_server_v010
Congreso del mediterraneo_xen_server_v010
 
Virtualización
VirtualizaciónVirtualización
Virtualización
 
OpenNebula Oneflow: give me the flow!
OpenNebula Oneflow: give me the flow!OpenNebula Oneflow: give me the flow!
OpenNebula Oneflow: give me the flow!
 

Destacado

Virtualizacion Con Xen En Open Solaris
Virtualizacion Con Xen En Open SolarisVirtualizacion Con Xen En Open Solaris
Virtualizacion Con Xen En Open Solaris
Toni de la Fuente
 
Building Scalable .NET Web Applications
Building Scalable .NET Web ApplicationsBuilding Scalable .NET Web Applications
Building Scalable .NET Web Applications
Buu Nguyen
 
Gestion de memoria en unix y solaris
Gestion de memoria en unix y solarisGestion de memoria en unix y solaris
Gestion de memoria en unix y solaris
Osvaldo Magaña Cantú
 
Administración de Memoria en UNIX
Administración de Memoria en UNIXAdministración de Memoria en UNIX
Administración de Memoria en UNIX
Natalia Ludeña
 
Scaling asp.net websites to millions of users
Scaling asp.net websites to millions of usersScaling asp.net websites to millions of users
Scaling asp.net websites to millions of users
oazabir
 
Gestion de memoria en Linux
Gestion de memoria en LinuxGestion de memoria en Linux
Gestion de memoria en Linux
ChriztOpher Medina
 

Destacado (6)

Virtualizacion Con Xen En Open Solaris
Virtualizacion Con Xen En Open SolarisVirtualizacion Con Xen En Open Solaris
Virtualizacion Con Xen En Open Solaris
 
Building Scalable .NET Web Applications
Building Scalable .NET Web ApplicationsBuilding Scalable .NET Web Applications
Building Scalable .NET Web Applications
 
Gestion de memoria en unix y solaris
Gestion de memoria en unix y solarisGestion de memoria en unix y solaris
Gestion de memoria en unix y solaris
 
Administración de Memoria en UNIX
Administración de Memoria en UNIXAdministración de Memoria en UNIX
Administración de Memoria en UNIX
 
Scaling asp.net websites to millions of users
Scaling asp.net websites to millions of usersScaling asp.net websites to millions of users
Scaling asp.net websites to millions of users
 
Gestion de memoria en Linux
Gestion de memoria en LinuxGestion de memoria en Linux
Gestion de memoria en Linux
 

Similar a Cloud y BigData

Hyper v r2 -javier acero
Hyper v r2  -javier aceroHyper v r2  -javier acero
Virtualizar con microsoft hyper v - por qué ahora parte2
Virtualizar con microsoft hyper v - por qué ahora parte2Virtualizar con microsoft hyper v - por qué ahora parte2
Virtualizar con microsoft hyper v - por qué ahora parte2
Pablo Campos
 
Sacale El Jugo A La Virtualizacion
Sacale El Jugo A La VirtualizacionSacale El Jugo A La Virtualizacion
Sacale El Jugo A La Virtualizacion
Pablo Campos
 
Virtualizar con microsoft hyper v - por qué ahora parte1
Virtualizar con microsoft hyper v - por qué ahora parte1Virtualizar con microsoft hyper v - por qué ahora parte1
Virtualizar con microsoft hyper v - por qué ahora parte1
Pablo Campos
 
Datacenter dinamico parte1
Datacenter dinamico parte1Datacenter dinamico parte1
Datacenter dinamico parte1
Pablo Campos
 
Hyper v private cloud
Hyper v private cloudHyper v private cloud
Hyper v private cloud
Pablo Campos
 
Virtualizacion de servidores con VMware vSphere 5.5. (Proyecto Fin de Curso) ...
Virtualizacion de servidores con VMware vSphere 5.5. (Proyecto Fin de Curso) ...Virtualizacion de servidores con VMware vSphere 5.5. (Proyecto Fin de Curso) ...
Virtualizacion de servidores con VMware vSphere 5.5. (Proyecto Fin de Curso) ...
Israel Martínez Bermejo
 
Windows Server2008 R2 Overview
Windows Server2008 R2 OverviewWindows Server2008 R2 Overview
Windows Server2008 R2 Overview
Pablo Campos
 
Datacenter dinamico parte2
Datacenter dinamico parte2Datacenter dinamico parte2
Datacenter dinamico parte2
Pablo Campos
 
[Run Reloaded] SCVMM 2008 R2 a fondo (Antonio Scuotto + Alejandro Ponicke)
[Run Reloaded] SCVMM 2008 R2 a fondo (Antonio Scuotto + Alejandro Ponicke)[Run Reloaded] SCVMM 2008 R2 a fondo (Antonio Scuotto + Alejandro Ponicke)
[Run Reloaded] SCVMM 2008 R2 a fondo (Antonio Scuotto + Alejandro Ponicke)
Microsoft Argentina y Uruguay [Official Space]
 
Techdays 2010 Hyper-V R2 SP1
Techdays 2010 Hyper-V R2 SP1Techdays 2010 Hyper-V R2 SP1
Techdays 2010 Hyper-V R2 SP1
Gonzalo Balladares Rivera
 
2 la nueva versión de v mware
2   la nueva versión de v mware2   la nueva versión de v mware
2 la nueva versión de v mware
Omega Peripherals
 
Virtualizacion con Software Libre en el camino hacia la nube
Virtualizacion con Software Libre en el camino hacia la nubeVirtualizacion con Software Libre en el camino hacia la nube
Virtualizacion con Software Libre en el camino hacia la nube
Rodolfo Pilas
 
Virtualización
VirtualizaciónVirtualización
Virtualización
Adriana Rodriguez Corona
 
Webcast Conociendo Hyperv R2
Webcast   Conociendo Hyperv R2Webcast   Conociendo Hyperv R2
Webcast Conociendo Hyperv R2
ITSanchez
 
Virtualización de GNU/Linux Debian con Xen
Virtualización de GNU/Linux Debian con XenVirtualización de GNU/Linux Debian con Xen
Virtualización de GNU/Linux Debian con Xen
Olaf Reitmaier Veracierta
 
Plan antiguo manana-_enrique_gullon-_presentacion_virtualizacion
Plan antiguo manana-_enrique_gullon-_presentacion_virtualizacionPlan antiguo manana-_enrique_gullon-_presentacion_virtualizacion
Plan antiguo manana-_enrique_gullon-_presentacion_virtualizacion
egullon
 
Webcast Technet: Profundizar el respaldo Hyper-V: Una mirada bajo la cubierta
Webcast Technet: Profundizar el respaldo Hyper-V: Una mirada bajo la cubierta  Webcast Technet: Profundizar el respaldo Hyper-V: Una mirada bajo la cubierta
Webcast Technet: Profundizar el respaldo Hyper-V: Una mirada bajo la cubierta
ITSanchez
 
Frikeando Con Imagenes Virtuales Asegura It Camp
Frikeando Con Imagenes Virtuales   Asegura It CampFrikeando Con Imagenes Virtuales   Asegura It Camp
Frikeando Con Imagenes Virtuales Asegura It Camp
Chema Alonso
 
V virtualización
V virtualizaciónV virtualización
V virtualización
Joyce Casignia
 

Similar a Cloud y BigData (20)

Hyper v r2 -javier acero
Hyper v r2  -javier aceroHyper v r2  -javier acero
Hyper v r2 -javier acero
 
Virtualizar con microsoft hyper v - por qué ahora parte2
Virtualizar con microsoft hyper v - por qué ahora parte2Virtualizar con microsoft hyper v - por qué ahora parte2
Virtualizar con microsoft hyper v - por qué ahora parte2
 
Sacale El Jugo A La Virtualizacion
Sacale El Jugo A La VirtualizacionSacale El Jugo A La Virtualizacion
Sacale El Jugo A La Virtualizacion
 
Virtualizar con microsoft hyper v - por qué ahora parte1
Virtualizar con microsoft hyper v - por qué ahora parte1Virtualizar con microsoft hyper v - por qué ahora parte1
Virtualizar con microsoft hyper v - por qué ahora parte1
 
Datacenter dinamico parte1
Datacenter dinamico parte1Datacenter dinamico parte1
Datacenter dinamico parte1
 
Hyper v private cloud
Hyper v private cloudHyper v private cloud
Hyper v private cloud
 
Virtualizacion de servidores con VMware vSphere 5.5. (Proyecto Fin de Curso) ...
Virtualizacion de servidores con VMware vSphere 5.5. (Proyecto Fin de Curso) ...Virtualizacion de servidores con VMware vSphere 5.5. (Proyecto Fin de Curso) ...
Virtualizacion de servidores con VMware vSphere 5.5. (Proyecto Fin de Curso) ...
 
Windows Server2008 R2 Overview
Windows Server2008 R2 OverviewWindows Server2008 R2 Overview
Windows Server2008 R2 Overview
 
Datacenter dinamico parte2
Datacenter dinamico parte2Datacenter dinamico parte2
Datacenter dinamico parte2
 
[Run Reloaded] SCVMM 2008 R2 a fondo (Antonio Scuotto + Alejandro Ponicke)
[Run Reloaded] SCVMM 2008 R2 a fondo (Antonio Scuotto + Alejandro Ponicke)[Run Reloaded] SCVMM 2008 R2 a fondo (Antonio Scuotto + Alejandro Ponicke)
[Run Reloaded] SCVMM 2008 R2 a fondo (Antonio Scuotto + Alejandro Ponicke)
 
Techdays 2010 Hyper-V R2 SP1
Techdays 2010 Hyper-V R2 SP1Techdays 2010 Hyper-V R2 SP1
Techdays 2010 Hyper-V R2 SP1
 
2 la nueva versión de v mware
2   la nueva versión de v mware2   la nueva versión de v mware
2 la nueva versión de v mware
 
Virtualizacion con Software Libre en el camino hacia la nube
Virtualizacion con Software Libre en el camino hacia la nubeVirtualizacion con Software Libre en el camino hacia la nube
Virtualizacion con Software Libre en el camino hacia la nube
 
Virtualización
VirtualizaciónVirtualización
Virtualización
 
Webcast Conociendo Hyperv R2
Webcast   Conociendo Hyperv R2Webcast   Conociendo Hyperv R2
Webcast Conociendo Hyperv R2
 
Virtualización de GNU/Linux Debian con Xen
Virtualización de GNU/Linux Debian con XenVirtualización de GNU/Linux Debian con Xen
Virtualización de GNU/Linux Debian con Xen
 
Plan antiguo manana-_enrique_gullon-_presentacion_virtualizacion
Plan antiguo manana-_enrique_gullon-_presentacion_virtualizacionPlan antiguo manana-_enrique_gullon-_presentacion_virtualizacion
Plan antiguo manana-_enrique_gullon-_presentacion_virtualizacion
 
Webcast Technet: Profundizar el respaldo Hyper-V: Una mirada bajo la cubierta
Webcast Technet: Profundizar el respaldo Hyper-V: Una mirada bajo la cubierta  Webcast Technet: Profundizar el respaldo Hyper-V: Una mirada bajo la cubierta
Webcast Technet: Profundizar el respaldo Hyper-V: Una mirada bajo la cubierta
 
Frikeando Con Imagenes Virtuales Asegura It Camp
Frikeando Con Imagenes Virtuales   Asegura It CampFrikeando Con Imagenes Virtuales   Asegura It Camp
Frikeando Con Imagenes Virtuales Asegura It Camp
 
V virtualización
V virtualizaciónV virtualización
V virtualización
 

Último

Inteligencia Artificial
Inteligencia ArtificialInteligencia Artificial
Inteligencia Artificial
YashiraPaye
 
Flows: Mejores Prácticas y Nuevos Features
Flows: Mejores Prácticas y Nuevos FeaturesFlows: Mejores Prácticas y Nuevos Features
Flows: Mejores Prácticas y Nuevos Features
Paola De la Torre
 
Nuevos tiempos, nuevos espacios.docxdsdsad
Nuevos tiempos, nuevos espacios.docxdsdsadNuevos tiempos, nuevos espacios.docxdsdsad
Nuevos tiempos, nuevos espacios.docxdsdsad
larapalaciosmonzon28
 
edublogs info.docx asdasfasfsawqrdqwfqwfqwfq
edublogs info.docx asdasfasfsawqrdqwfqwfqwfqedublogs info.docx asdasfasfsawqrdqwfqwfqwfq
edublogs info.docx asdasfasfsawqrdqwfqwfqwfq
larapalaciosmonzon28
 
El uso de las TIC's en la vida cotidiana
El uso de las TIC's en la vida cotidianaEl uso de las TIC's en la vida cotidiana
El uso de las TIC's en la vida cotidiana
231458066
 
trabajo práctico kuikikiikkidfsmdklfskdnfklsdnfknsdk
trabajo práctico kuikikiikkidfsmdklfskdnfklsdnfknsdktrabajo práctico kuikikiikkidfsmdklfskdnfklsdnfknsdk
trabajo práctico kuikikiikkidfsmdklfskdnfklsdnfknsdk
KukiiSanchez
 
El uso de las TIC por Cecilia Pozos S..pptx
El uso de las TIC  por Cecilia Pozos S..pptxEl uso de las TIC  por Cecilia Pozos S..pptx
El uso de las TIC por Cecilia Pozos S..pptx
cecypozos703
 
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdf
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdfPresentación Seguridad Digital Profesional Azul Oscuro (1).pdf
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdf
giampierdiaz5
 
Infografia TCP/IP (Transmission Control Protocol/Internet Protocol)
Infografia TCP/IP (Transmission Control Protocol/Internet Protocol)Infografia TCP/IP (Transmission Control Protocol/Internet Protocol)
Infografia TCP/IP (Transmission Control Protocol/Internet Protocol)
codesiret
 
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
AMADO SALVADOR
 
Presentación de Tic en educación y sobre blogger
Presentación de Tic en educación y sobre bloggerPresentación de Tic en educación y sobre blogger
Presentación de Tic en educación y sobre blogger
larapalaciosmonzon28
 
La Inteligencia Artificial en la actualidad.docx
La Inteligencia Artificial en la actualidad.docxLa Inteligencia Artificial en la actualidad.docx
La Inteligencia Artificial en la actualidad.docx
luiscohailatenazoa0
 
REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANOREVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
gisellearanguren1
 
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptxLA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
pauca1501alvar
 
INFORMATICA Y TECNOLOGIA
INFORMATICA Y TECNOLOGIAINFORMATICA Y TECNOLOGIA
INFORMATICA Y TECNOLOGIA
renzocruz180310
 
625204013-64-Camino-a-----La-Lectura.pdf
625204013-64-Camino-a-----La-Lectura.pdf625204013-64-Camino-a-----La-Lectura.pdf
625204013-64-Camino-a-----La-Lectura.pdf
yuberpalma
 
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMAUML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
martinezluis17
 
Manual de soporte y mantenimiento de equipo de cómputo
Manual de soporte y mantenimiento de equipo de cómputoManual de soporte y mantenimiento de equipo de cómputo
Manual de soporte y mantenimiento de equipo de cómputo
doctorsoluciones34
 
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
AbrahamCastillo42
 
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajasSlideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
AdrianaRengifo14
 

Último (20)

Inteligencia Artificial
Inteligencia ArtificialInteligencia Artificial
Inteligencia Artificial
 
Flows: Mejores Prácticas y Nuevos Features
Flows: Mejores Prácticas y Nuevos FeaturesFlows: Mejores Prácticas y Nuevos Features
Flows: Mejores Prácticas y Nuevos Features
 
Nuevos tiempos, nuevos espacios.docxdsdsad
Nuevos tiempos, nuevos espacios.docxdsdsadNuevos tiempos, nuevos espacios.docxdsdsad
Nuevos tiempos, nuevos espacios.docxdsdsad
 
edublogs info.docx asdasfasfsawqrdqwfqwfqwfq
edublogs info.docx asdasfasfsawqrdqwfqwfqwfqedublogs info.docx asdasfasfsawqrdqwfqwfqwfq
edublogs info.docx asdasfasfsawqrdqwfqwfqwfq
 
El uso de las TIC's en la vida cotidiana
El uso de las TIC's en la vida cotidianaEl uso de las TIC's en la vida cotidiana
El uso de las TIC's en la vida cotidiana
 
trabajo práctico kuikikiikkidfsmdklfskdnfklsdnfknsdk
trabajo práctico kuikikiikkidfsmdklfskdnfklsdnfknsdktrabajo práctico kuikikiikkidfsmdklfskdnfklsdnfknsdk
trabajo práctico kuikikiikkidfsmdklfskdnfklsdnfknsdk
 
El uso de las TIC por Cecilia Pozos S..pptx
El uso de las TIC  por Cecilia Pozos S..pptxEl uso de las TIC  por Cecilia Pozos S..pptx
El uso de las TIC por Cecilia Pozos S..pptx
 
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdf
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdfPresentación Seguridad Digital Profesional Azul Oscuro (1).pdf
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdf
 
Infografia TCP/IP (Transmission Control Protocol/Internet Protocol)
Infografia TCP/IP (Transmission Control Protocol/Internet Protocol)Infografia TCP/IP (Transmission Control Protocol/Internet Protocol)
Infografia TCP/IP (Transmission Control Protocol/Internet Protocol)
 
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
 
Presentación de Tic en educación y sobre blogger
Presentación de Tic en educación y sobre bloggerPresentación de Tic en educación y sobre blogger
Presentación de Tic en educación y sobre blogger
 
La Inteligencia Artificial en la actualidad.docx
La Inteligencia Artificial en la actualidad.docxLa Inteligencia Artificial en la actualidad.docx
La Inteligencia Artificial en la actualidad.docx
 
REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANOREVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
 
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptxLA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
 
INFORMATICA Y TECNOLOGIA
INFORMATICA Y TECNOLOGIAINFORMATICA Y TECNOLOGIA
INFORMATICA Y TECNOLOGIA
 
625204013-64-Camino-a-----La-Lectura.pdf
625204013-64-Camino-a-----La-Lectura.pdf625204013-64-Camino-a-----La-Lectura.pdf
625204013-64-Camino-a-----La-Lectura.pdf
 
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMAUML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
 
Manual de soporte y mantenimiento de equipo de cómputo
Manual de soporte y mantenimiento de equipo de cómputoManual de soporte y mantenimiento de equipo de cómputo
Manual de soporte y mantenimiento de equipo de cómputo
 
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
 
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajasSlideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
 

Cloud y BigData

  • 1. El papel del Cloud Computing en BD & DS Javier Cacheiro López jlopez@cesga.es
  • 2. Contenido  Soluciones Cloud  Cloud Federado: EGI FedCloud  BigData en FedCloud  Conclusiones
  • 5. Modelos Cloud  Infrastructure as a Service (IaaS)  Amazon EC2  Platform as a Service (PaaS)  Salesforce, Google App Engine  Software as a Service (SaaS)  Google Docs
  • 6. Escalabilidad Escalabilidad vertical: Scale up Escalabilidad horizontal: Scale out
  • 8. Virtual Machine Monitor (VMM) VMM / Hipervisor Hardware Máquina Física Máquina Virtual Máquina Virtual Máquina Virtual
  • 10. Tipos de VMM  VMM Tipo 1 (bare metal)  Anillo 0  Hipervisor directamente sobre el hardware  VMM Tipo 2 (hosted)  Anillo 3  Hipervisor dentro de un SO
  • 11. Modos de Virtualización Descripción Ventajas Ejemplos Rendimiento Xen PV Rendimiento KVM, Xen HVM Desventaj as Virtualización completa (full virtualization) Simulación completa del hardware de la máquina física Pérdida de rendimiento No es necesario modificar el SO de la MV VMWare Workstation, VirtualBox Paravirtualización Simulación parcial del hardware de la máquina física. La MV es consciente de que corre en un entorno virtual. Es necesario modificar el SO de la MV para que se ejecute en el anillo 1 Virtualización asistida por hardware (Native Virtualization) Virtualización total que se aprovecha del soporte para virtualización presente en el hardware como las extensiones VT de Intel o Pacifica de AMD Es necesario hardware específico
  • 12. Soluciones de Virtualización en entornos cloud  Xen  KVM  VMware  Hyper-V
  • 13. Xen: Conceptos Básicos  Dom0: el SO anfitrión con el kernel de Xen  DomU: cada una de las máquinas virtuales  VIF: Virtual Network Inferface  VBD: Virtual Block Device  HVM: Virtualización con soporte hardware
  • 14. Linux paravirt_ops (pv-ops)  Pv-ops es una parte del kernel de Linux que le permite ejecutarse como máquina paravirtual  Está disponible para x86, x86_64 e ia64  El mismo kernel puede arrancar nativamente en el hardware físico o como máquina paravirtual  Xen y VMware tienen soporte de pv-ops
  • 15. Xen StubDom  StubDom representa un nuevo modelo de gestión de dispositivos para MV HVM disponible a partir de Xen 3.3  El nuevo modelo utiliza un mini-SO para tareas como acceso a disco, a dispositivos de vídeo o a memoria  Se consigure una mejora considerable de rendimiento
  • 16. KVM: Conceptos Básicos  Requiere de un procesador con soporte de virtualización  Soporta paravirtualización para ciertos drivers a través de VirtIO  RHEL6 añade KVM y elimina Xen
  • 17. Virtualización Completa vs Paravirtualización MicroKernel Hardware Máquina Virtual Máquina Virtual Máquina Virtual Driver Driver API Gestión Traducción Binaria Hipervisor Hardware Máquina Virtual Máquina Virtual Máquina Virtual API Gestión API Hardware Virtual HVM Virtualización Completa Paravirtualización
  • 18. Xen vs KVM: Linpack
  • 19. Xen vs KVM: I/O
  • 20. Standards  Open Virtualization Format (OVF): Formato standard para exportar máquinas virtuales entre VMMs  Virtual Machine Disk Format (VMDK): Formato standard para la creación de discos virtuales (usado principalmente por VMware)  VMI: Interfaz alternativo a pv-ops desarrollado por VMware (eliminado a partir del kernel 2.6.37)
  • 21. Consideraciones prácticas  Las máquinas virtuales HVM y con virtualización total pueden presentar problemas con el reloj del sistema  Muchos VMM no gestionan eficiencientemente MV multi-procesador  El rendimiento de ficheros y LVM para almacenar las MV es similar  Algunas distribuciones de Linux incluyen una versión de /lib/tls que no es compatible con Xen (es recomendable deshabilitarla)
  • 22. Soluciones Cloud IaaS IaaS Pública IaaS Privada Google Compute Engine
  • 23. Public IaaS: Hipervisores  AWS Amazon EC2:  Xen en general y Xen HVM para instancias tipo: cluster compute, high I/O, second generation (m3) and Windows  Rackspace:  Xen para Linux y XenServer para Windows  Google Compute Engine  KVM  Windows Azure  Hyper-V
  • 24. IaaS
  • 28. Evolución soluciones almacenamiento Almacenamiento local SAN Distributed Replicated Block Device (DRDB) Object Storage
  • 29. Tipos de Almacenamiento Object Storage Amazon S3 OpenStack Swift Ceph File Storage NAS (NFS, CIFS) GlusterFS Ceph FS Block Storage SAS/SATA/iSCSI Amazon EBS Ceph RDB
  • 30. Object Storage  Escalable:  Posibilidad de ampliar/reducir el almacenamiento  Barato:  Agrega los discos locales de muchos servidores  Replicación automática:  Tolerancia a fallos  Interfaz http: usualmente API REST
  • 31. Object Storage: Ejemplos  Amazon S3  OpenStack Swift  Ceph  Object Storage: Ceph filesystem  Block Storage: Ceph RADOS Block Device (RDB)  File Storage: Ceph FS  GlusterFS
  • 32. Object Storage: Inconvenientes  Si se actualiza un fichero hay que esperar a que se propaguen los cambios a todas la réplicas  Preferible para almacenar datos que no cambian mucho  Interfaz http
  • 33. Soluciones de Almacenamiento IaaS AWS Object Storage Block Storage Simple Storage Service (S3) Elastic Block Storage (EBS) OpenStack Swift Ceph, GlusterFS, NetApp Eucalyptus Walrus Storage Controller (SC) CloudStack Swift Ceph OpenNebula Ceph
  • 37. AccountingAccounting OpenNebula 3.x MySQL database MySQL database Summarized records Running /stopped/finished VMs Summarized records Running /stopped/finished VMs meghacloud.cesga.es Apelglobalrepo.
  • 39. Configuración de Hadoop N+1 Hadoop cluster  1 Master  NameNode / Secondary NameNode  JobTracker  N Slaves  DataNode  TaskTracker
  • 40. Despliegue del cluster Tiempo de despliegue de un cluster Hadoop de 101 nodos  Obtener identificador: 71-86 min  Tiempo total: 2,5-3 horas
  • 41. Despliegue: Carga en el frontend
  • 45. GAIA
  • 46. GAIA  Misión de la ESA para elaborar un mapa tridimensional de nuestra Galaxia, la vía láctea: http://sci.esa.int/gaia/  El satélite será lanzado en agosto  Datos a analizar: ~1PB
  • 47. GAIA Se analizaron distintas soluciones: • Cassandra • Hadoop • InterSystems Cache • IBM DB2 • PostgreSQL 9 + Pl/Proxy2 + Cassandra
  • 51. BigData + Cloud Ejecutar BigData sobre una plataforma IaaS ofrece ventajas e inconvenientes
  • 52. Pros  Elasticidad: tanta como tenga la aplicación  Rapidez para obtener recursos  Facilidad en la configuración  Sencillez en el despliegue  Ideal para pruebas
  • 53. Contras  Tiempo de despliegue:  Es necesario optimizar el gestor cloud para mejorar el tiempo de despliegue  Rendimiento  Es necesario optimizar las MV para mejorar su rendimiento de E/S  Entorno heterogéneo  Rendimiento de cada MV variable dependiendo de la carga del anfitrión