SlideShare una empresa de Scribd logo
1 de 11
Descargar para leer sin conexión
Impacto da Migração de
Máquinas Virtuais de Xen na
Execução de Programas MPI
                Marcelo Veiga Neves
                mvneves@inf.ufrgs.br

   Grupo de Processamento Paralelo e Distribuído — GPPD
    Universidade Federal do Rio Grande do Sul — UFRGS
Roteiro
• Introdução
• Xen e a Migração de Máquinas Virtuais
• Experimentos Realizados
• Resultados
• Conclusão
Introdução (I)
• Virtualização de recursos computacionais
   – Oferece uma abstração de máquina virtual idêntica ao hardware
   – Várias instâncias do sistema operacional sobre um recurso
   – Custo de desempenho
• Técnica de paravirtualização
   – Simplifica a técnica de virtualização
   – Oferece uma abstração de máquina virtual similar ao hardware, não
     idêntica
• Xen
   – Utiliza paravirtualização
   – Migração de máquinas virtuais
   – Crescente interesse em utilizar Xen em clusters de computadores
Introdução (II)
• MPI é um padrão de facto para comunicação em clusters
• Problema:
   – A norma MPI não define escalonamento
   – Aplicações com estrutura computacional irregular e comportamento
     dinâmico
       • Necessidade de escalonamento dinâmico
   – Migração de processos
       • Salvamento do contexto e transferência para destino (C/R)
       • Migração/restabelecimento das conexões
       • Dependência residual
   – Possível solução: migração de máquinas virtuais
• Objetivo:
   – Avaliar a viabilidade de utilização de Xen migrar processos MPI
Xen e a Migração MV
• Monitor de máquinas virtuais (MMV)
• Open source e bastente difundido
• Live migration (ARP reply)




          Fonte: Boufleur et al. 2006.
         (a)                             (b)
Experimentos Realizados
•   Objetivos:
     – Verificar o custo de migrar processos MPI utilizando migração de MV
     – Viabilidade de utilizar migração de MV para escalonar programas MPI


•   Ambiente de teste:
     – Cluster Corisco
     – 6 máquinas com Xen 3.0.3


•   Aplicações utilizadas:
     – Linpack (desempenho de computação)
     – NetPIPE (desempenho de comunicação)
     – HPL (High Performance Linpack)
     – NPB (NAS Parallel Benchmark)
Desempenho de Computação




• Benchmark Linpack com matriz de 3000x3000

• Xen apresentou melhor desempenho que o sistema nativo
Desempenho de Comunicação (I)


(a)



(b)




      • NetPIPE (um processo em cada MV, uma MV por nó)
      • Vazão de Xen é em média de 1 a 2 % menor
Desempenho de Comunicação (II)

(a)



(b)



(c)
Custo de Migração com Xen




• HPL com N=8000             • NPB sp.B.4
• ~1,1% mais lento com Xen   • ~4% mais lento com Xen
• 1 migração = ~29% de       • 1 migração = ~10% de
  acréscimo                    acréscimo
Conclusão
• Alternativa à técnica de migração por C/R
• Custo de migração independe do tamanho da memória
  da aplicação
   – Possibilidade de previsão de custo
• Talvez seja viável para escalonar aplicações que
  executam por longos períodos de tempo
   – Ganho de desempenho > custo de migração
• Pode não ser viável agrupar processos no mesmo nó
   – Talvez em diferentes níveis de rede

Más contenido relacionado

Destacado

AMBIENTES IMERSIVOS EM CONTEXTOS DE APRENDIZAGEM – ABORDAGEM CONECTIVISTA
AMBIENTES IMERSIVOS EM CONTEXTOS DE APRENDIZAGEM – ABORDAGEM CONECTIVISTAAMBIENTES IMERSIVOS EM CONTEXTOS DE APRENDIZAGEM – ABORDAGEM CONECTIVISTA
AMBIENTES IMERSIVOS EM CONTEXTOS DE APRENDIZAGEM – ABORDAGEM CONECTIVISTAAna Loureiro
 
Estructura del computorador uft
Estructura del computorador uftEstructura del computorador uft
Estructura del computorador uftdanielbarrios95
 
Combatiendo a los COPs
Combatiendo a los COPsCombatiendo a los COPs
Combatiendo a los COPsvrajan-nat
 
Raul ahibar
Raul ahibarRaul ahibar
Raul ahibarahibar
 
Open platform communications (opc) server from tibbo technology
Open platform communications (opc) server from tibbo technologyOpen platform communications (opc) server from tibbo technology
Open platform communications (opc) server from tibbo technologyTibbo
 
Agenda cultural fin de semana 4 y 5 mayo 2013
Agenda cultural fin de semana 4 y 5 mayo 2013Agenda cultural fin de semana 4 y 5 mayo 2013
Agenda cultural fin de semana 4 y 5 mayo 2013Carlos Vidal Gil
 
As CriançAs Que NãO Tinham Escolas
As CriançAs Que NãO Tinham EscolasAs CriançAs Que NãO Tinham Escolas
As CriançAs Que NãO Tinham EscolasJoão Pedro Pereira
 
4 alerta cat
4 alerta cat4 alerta cat
4 alerta catdanavar78
 
Berria presentación de microsoft power point
Berria   presentación de microsoft power pointBerria   presentación de microsoft power point
Berria presentación de microsoft power pointyaimai
 
J:\Alex\2009 10\Tmrec 4 1ros
J:\Alex\2009 10\Tmrec 4 1rosJ:\Alex\2009 10\Tmrec 4 1ros
J:\Alex\2009 10\Tmrec 4 1rosalejandro
 
Marcas objeto do desejo
Marcas objeto do desejoMarcas objeto do desejo
Marcas objeto do desejoMarcelo Salvo
 
Deconstruction of Solah Shringar with reference to "The Scarlet Letter"
Deconstruction of Solah Shringar with reference to "The Scarlet Letter"Deconstruction of Solah Shringar with reference to "The Scarlet Letter"
Deconstruction of Solah Shringar with reference to "The Scarlet Letter"Department of English MKBU
 

Destacado (19)

GM’s Success Mantra
GM’s Success MantraGM’s Success Mantra
GM’s Success Mantra
 
AMBIENTES IMERSIVOS EM CONTEXTOS DE APRENDIZAGEM – ABORDAGEM CONECTIVISTA
AMBIENTES IMERSIVOS EM CONTEXTOS DE APRENDIZAGEM – ABORDAGEM CONECTIVISTAAMBIENTES IMERSIVOS EM CONTEXTOS DE APRENDIZAGEM – ABORDAGEM CONECTIVISTA
AMBIENTES IMERSIVOS EM CONTEXTOS DE APRENDIZAGEM – ABORDAGEM CONECTIVISTA
 
Estructura del computorador uft
Estructura del computorador uftEstructura del computorador uft
Estructura del computorador uft
 
Alhuda CIBE -Sharia microfinance products
Alhuda CIBE -Sharia microfinance productsAlhuda CIBE -Sharia microfinance products
Alhuda CIBE -Sharia microfinance products
 
Combatiendo a los COPs
Combatiendo a los COPsCombatiendo a los COPs
Combatiendo a los COPs
 
Poster 2
Poster 2Poster 2
Poster 2
 
Raul ahibar
Raul ahibarRaul ahibar
Raul ahibar
 
Polo
PoloPolo
Polo
 
Open platform communications (opc) server from tibbo technology
Open platform communications (opc) server from tibbo technologyOpen platform communications (opc) server from tibbo technology
Open platform communications (opc) server from tibbo technology
 
Agenda cultural fin de semana 4 y 5 mayo 2013
Agenda cultural fin de semana 4 y 5 mayo 2013Agenda cultural fin de semana 4 y 5 mayo 2013
Agenda cultural fin de semana 4 y 5 mayo 2013
 
As CriançAs Que NãO Tinham Escolas
As CriançAs Que NãO Tinham EscolasAs CriançAs Que NãO Tinham Escolas
As CriançAs Que NãO Tinham Escolas
 
4 alerta cat
4 alerta cat4 alerta cat
4 alerta cat
 
Berria presentación de microsoft power point
Berria   presentación de microsoft power pointBerria   presentación de microsoft power point
Berria presentación de microsoft power point
 
litozacar
litozacarlitozacar
litozacar
 
J:\Alex\2009 10\Tmrec 4 1ros
J:\Alex\2009 10\Tmrec 4 1rosJ:\Alex\2009 10\Tmrec 4 1ros
J:\Alex\2009 10\Tmrec 4 1ros
 
плоди та насіння
плоди та насінняплоди та насіння
плоди та насіння
 
Marcas objeto do desejo
Marcas objeto do desejoMarcas objeto do desejo
Marcas objeto do desejo
 
Mayo 2013
Mayo 2013Mayo 2013
Mayo 2013
 
Deconstruction of Solah Shringar with reference to "The Scarlet Letter"
Deconstruction of Solah Shringar with reference to "The Scarlet Letter"Deconstruction of Solah Shringar with reference to "The Scarlet Letter"
Deconstruction of Solah Shringar with reference to "The Scarlet Letter"
 

Similar a Impacto da Migração de Máquinas Virtuais de Xen na Execução de Programas MPI - WSCAD 2007

Medindo e Modelando o Desempenho de Aplicações em um Ambiente Virtual
Medindo e Modelando o Desempenho de Aplicações em um Ambiente VirtualMedindo e Modelando o Desempenho de Aplicações em um Ambiente Virtual
Medindo e Modelando o Desempenho de Aplicações em um Ambiente VirtualRafael Reis
 
Uma Arquitetura para Provisionamento de Ambientes de Alto Desempenho Customiz...
Uma Arquitetura para Provisionamento de Ambientes de Alto Desempenho Customiz...Uma Arquitetura para Provisionamento de Ambientes de Alto Desempenho Customiz...
Uma Arquitetura para Provisionamento de Ambientes de Alto Desempenho Customiz...Miguel Xavier
 
TDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on Azure
TDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on AzureTDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on Azure
TDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on Azuretdc-globalcode
 
Utilização de traços de execução para migração de aplicações para a nuvem
Utilização de traços de execução para migração de aplicações para a nuvemUtilização de traços de execução para migração de aplicações para a nuvem
Utilização de traços de execução para migração de aplicações para a nuvemOtávio Carvalho
 
Alta disponibilidade em ambiente GNU/Linux
Alta disponibilidade em ambiente GNU/LinuxAlta disponibilidade em ambiente GNU/Linux
Alta disponibilidade em ambiente GNU/LinuxMario Bittencourt
 
Projeto InterVoIP - Arquitetura - I Workshop CPqD de Inovação Tecnológica em ...
Projeto InterVoIP - Arquitetura - I Workshop CPqD de Inovação Tecnológica em ...Projeto InterVoIP - Arquitetura - I Workshop CPqD de Inovação Tecnológica em ...
Projeto InterVoIP - Arquitetura - I Workshop CPqD de Inovação Tecnológica em ...CPqD
 
Map reduce novas abordagens para o processo de datamining em grandes volumn...
Map reduce   novas abordagens para o processo de datamining em grandes volumn...Map reduce   novas abordagens para o processo de datamining em grandes volumn...
Map reduce novas abordagens para o processo de datamining em grandes volumn...João Gabriel Lima
 
Arquiteturas híbridas de atendimento em Cloud Computing para otimizar o uso d...
Arquiteturas híbridas de atendimento em Cloud Computing para otimizar o uso d...Arquiteturas híbridas de atendimento em Cloud Computing para otimizar o uso d...
Arquiteturas híbridas de atendimento em Cloud Computing para otimizar o uso d...Diego Santos
 
Kubernetes de ponta a ponta: do Pod ao Deployment Automatizado - Janeiro-2020
Kubernetes de ponta a ponta: do Pod ao Deployment Automatizado - Janeiro-2020Kubernetes de ponta a ponta: do Pod ao Deployment Automatizado - Janeiro-2020
Kubernetes de ponta a ponta: do Pod ao Deployment Automatizado - Janeiro-2020Renato Groff
 
Desconstruindo EJB
Desconstruindo EJBDesconstruindo EJB
Desconstruindo EJBLuiz Borba
 
Virtual mobile nodes for mobile ad hoc networks
Virtual mobile nodes for mobile ad hoc networksVirtual mobile nodes for mobile ad hoc networks
Virtual mobile nodes for mobile ad hoc networksThiago Reis da Silva
 
QCon 2016 - Como migramos uma solução de 4 milhões de usuários para o Azure
QCon 2016 - Como migramos uma solução de 4 milhões de usuários para o AzureQCon 2016 - Como migramos uma solução de 4 milhões de usuários para o Azure
QCon 2016 - Como migramos uma solução de 4 milhões de usuários para o AzureFabrício Lopes Sanchez
 
Onix, uma plataforma de desenvolvimento para controle distribuído
Onix, uma plataforma de desenvolvimento para controle distribuídoOnix, uma plataforma de desenvolvimento para controle distribuído
Onix, uma plataforma de desenvolvimento para controle distribuídowelingtonms
 

Similar a Impacto da Migração de Máquinas Virtuais de Xen na Execução de Programas MPI - WSCAD 2007 (20)

Medindo e Modelando o Desempenho de Aplicações em um Ambiente Virtual
Medindo e Modelando o Desempenho de Aplicações em um Ambiente VirtualMedindo e Modelando o Desempenho de Aplicações em um Ambiente Virtual
Medindo e Modelando o Desempenho de Aplicações em um Ambiente Virtual
 
Uma Arquitetura para Provisionamento de Ambientes de Alto Desempenho Customiz...
Uma Arquitetura para Provisionamento de Ambientes de Alto Desempenho Customiz...Uma Arquitetura para Provisionamento de Ambientes de Alto Desempenho Customiz...
Uma Arquitetura para Provisionamento de Ambientes de Alto Desempenho Customiz...
 
TDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on Azure
TDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on AzureTDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on Azure
TDC2018SP | Trilha Arq .Net - Serverless Reactive Programming on Azure
 
Utilização de traços de execução para migração de aplicações para a nuvem
Utilização de traços de execução para migração de aplicações para a nuvemUtilização de traços de execução para migração de aplicações para a nuvem
Utilização de traços de execução para migração de aplicações para a nuvem
 
Alta disponibilidade em ambiente GNU/Linux
Alta disponibilidade em ambiente GNU/LinuxAlta disponibilidade em ambiente GNU/Linux
Alta disponibilidade em ambiente GNU/Linux
 
Projeto InterVoIP - Arquitetura - I Workshop CPqD de Inovação Tecnológica em ...
Projeto InterVoIP - Arquitetura - I Workshop CPqD de Inovação Tecnológica em ...Projeto InterVoIP - Arquitetura - I Workshop CPqD de Inovação Tecnológica em ...
Projeto InterVoIP - Arquitetura - I Workshop CPqD de Inovação Tecnológica em ...
 
Map reduce novas abordagens para o processo de datamining em grandes volumn...
Map reduce   novas abordagens para o processo de datamining em grandes volumn...Map reduce   novas abordagens para o processo de datamining em grandes volumn...
Map reduce novas abordagens para o processo de datamining em grandes volumn...
 
Consegi 2011: Ganeti + Puppet
Consegi 2011: Ganeti + PuppetConsegi 2011: Ganeti + Puppet
Consegi 2011: Ganeti + Puppet
 
Servidores de Aplicações
Servidores de AplicaçõesServidores de Aplicações
Servidores de Aplicações
 
Estratégias de migração para cloud
Estratégias de migração para cloudEstratégias de migração para cloud
Estratégias de migração para cloud
 
Arquiteturas híbridas de atendimento em Cloud Computing para otimizar o uso d...
Arquiteturas híbridas de atendimento em Cloud Computing para otimizar o uso d...Arquiteturas híbridas de atendimento em Cloud Computing para otimizar o uso d...
Arquiteturas híbridas de atendimento em Cloud Computing para otimizar o uso d...
 
Kubernetes de ponta a ponta: do Pod ao Deployment Automatizado - Janeiro-2020
Kubernetes de ponta a ponta: do Pod ao Deployment Automatizado - Janeiro-2020Kubernetes de ponta a ponta: do Pod ao Deployment Automatizado - Janeiro-2020
Kubernetes de ponta a ponta: do Pod ao Deployment Automatizado - Janeiro-2020
 
Desconstruindo EJB
Desconstruindo EJBDesconstruindo EJB
Desconstruindo EJB
 
Virtual mobile nodes for mobile ad hoc networks
Virtual mobile nodes for mobile ad hoc networksVirtual mobile nodes for mobile ad hoc networks
Virtual mobile nodes for mobile ad hoc networks
 
MapReduce
MapReduceMapReduce
MapReduce
 
Paper 6 point
Paper 6   pointPaper 6   point
Paper 6 point
 
QCon 2016 - Como migramos uma solução de 4 milhões de usuários para o Azure
QCon 2016 - Como migramos uma solução de 4 milhões de usuários para o AzureQCon 2016 - Como migramos uma solução de 4 milhões de usuários para o Azure
QCon 2016 - Como migramos uma solução de 4 milhões de usuários para o Azure
 
Palestra
PalestraPalestra
Palestra
 
presentation
presentationpresentation
presentation
 
Onix, uma plataforma de desenvolvimento para controle distribuído
Onix, uma plataforma de desenvolvimento para controle distribuídoOnix, uma plataforma de desenvolvimento para controle distribuído
Onix, uma plataforma de desenvolvimento para controle distribuído
 

Impacto da Migração de Máquinas Virtuais de Xen na Execução de Programas MPI - WSCAD 2007

  • 1. Impacto da Migração de Máquinas Virtuais de Xen na Execução de Programas MPI Marcelo Veiga Neves mvneves@inf.ufrgs.br Grupo de Processamento Paralelo e Distribuído — GPPD Universidade Federal do Rio Grande do Sul — UFRGS
  • 2. Roteiro • Introdução • Xen e a Migração de Máquinas Virtuais • Experimentos Realizados • Resultados • Conclusão
  • 3. Introdução (I) • Virtualização de recursos computacionais – Oferece uma abstração de máquina virtual idêntica ao hardware – Várias instâncias do sistema operacional sobre um recurso – Custo de desempenho • Técnica de paravirtualização – Simplifica a técnica de virtualização – Oferece uma abstração de máquina virtual similar ao hardware, não idêntica • Xen – Utiliza paravirtualização – Migração de máquinas virtuais – Crescente interesse em utilizar Xen em clusters de computadores
  • 4. Introdução (II) • MPI é um padrão de facto para comunicação em clusters • Problema: – A norma MPI não define escalonamento – Aplicações com estrutura computacional irregular e comportamento dinâmico • Necessidade de escalonamento dinâmico – Migração de processos • Salvamento do contexto e transferência para destino (C/R) • Migração/restabelecimento das conexões • Dependência residual – Possível solução: migração de máquinas virtuais • Objetivo: – Avaliar a viabilidade de utilização de Xen migrar processos MPI
  • 5. Xen e a Migração MV • Monitor de máquinas virtuais (MMV) • Open source e bastente difundido • Live migration (ARP reply) Fonte: Boufleur et al. 2006. (a) (b)
  • 6. Experimentos Realizados • Objetivos: – Verificar o custo de migrar processos MPI utilizando migração de MV – Viabilidade de utilizar migração de MV para escalonar programas MPI • Ambiente de teste: – Cluster Corisco – 6 máquinas com Xen 3.0.3 • Aplicações utilizadas: – Linpack (desempenho de computação) – NetPIPE (desempenho de comunicação) – HPL (High Performance Linpack) – NPB (NAS Parallel Benchmark)
  • 7. Desempenho de Computação • Benchmark Linpack com matriz de 3000x3000 • Xen apresentou melhor desempenho que o sistema nativo
  • 8. Desempenho de Comunicação (I) (a) (b) • NetPIPE (um processo em cada MV, uma MV por nó) • Vazão de Xen é em média de 1 a 2 % menor
  • 9. Desempenho de Comunicação (II) (a) (b) (c)
  • 10. Custo de Migração com Xen • HPL com N=8000 • NPB sp.B.4 • ~1,1% mais lento com Xen • ~4% mais lento com Xen • 1 migração = ~29% de • 1 migração = ~10% de acréscimo acréscimo
  • 11. Conclusão • Alternativa à técnica de migração por C/R • Custo de migração independe do tamanho da memória da aplicação – Possibilidade de previsão de custo • Talvez seja viável para escalonar aplicações que executam por longos períodos de tempo – Ganho de desempenho > custo de migração • Pode não ser viável agrupar processos no mesmo nó – Talvez em diferentes níveis de rede