SlideShare una empresa de Scribd logo
1 de 54
Descargar para leer sin conexión
Gestion dynamique des tˆaches dans les grappes 
une approche `a base de machines virtuelles 
Fabien Hermenier 
´Equipe ASCOLA, ´Ecole des Mines de Nantes 
26 novembre 2009 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 1 / 42
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines virtuelles 
Reconfiguration dynamique 
Applications 
´Evaluation 
Bilan 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 2 / 42
Contexte 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines virtuelles 
Reconfiguration dynamique 
Applications 
´Evaluation 
Bilan 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 3 / 42
Contexte 
Grappe de serveurs 
◮ des machines (noeuds) interconnect´ees mettent `a disposition leurs 
ressources (mat´erielles, logicielles) 
◮ des utilisateurs soumettent en continu des tˆaches dont l’ex´ecution 
requiert une grande quantit´e de ressources (calcul scientifique) 
Tˆaches 
◮ des applications souvent distribu´ees dont les composants peuvent 
s’ex´ecuter sur des noeuds diff´erents 
◮ les quantit´es de ressources (mat´erielles, logicielles) n´ecessaires `a leur 
ex´ecution sont d´ecrites par l’utilisateur 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 4 / 42
Contexte 
Le gestionnaire de ressources 
◮ service responsable de l’ex´ecution des tˆaches sur la grappe 
◮ consulte les descriptions des tˆaches et l’´etat de la grappe 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 5 / 42
Contexte 
Le gestionnaire de ressources 
◮ service responsable de l’ex´ecution des tˆaches sur la grappe 
◮ consulte les descriptions des tˆaches et l’´etat de la grappe 
◮ s´electionne avec une strat´egie d’ordonnancement 
◮ les tˆaches `a ex´ecuter 
◮ les noeuds qui h´ebergeront les composants des tˆaches 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 5 / 42
Contexte 
Des besoins en ordonnancement vari´es 
Des objectifs diff´erents 
◮ diff´erentes strat´egies d’ordonnancement 
◮ r´eduire le temps d’attente avant l’ex´ecution des tˆaches 
◮ r´eduire le nombre de noeuds n´ecessaire `a l’ex´ecution des tˆaches 
◮ etc. 
◮ des contraintes de placement des composants sp´ecifiques 
◮ placement relativement `a des noeuds ou d’autres composants 
◮ partitionnement de la grappe en fonction des utilisateurs 
◮ etc. 
Des approches actuelles peu flexibles 
◮ diff´erentes heuristiques ad-hoc 
◮ des strat´egies d’ordonnancement au champ d’application limit´e 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 6 / 42
Contexte 
Diff´erentes approches pour l’ordonnancement 
Gestion statique des tˆaches 
(ex : EDF [Liu et al., JACM’73], EASY [Lifka, IPPS’95]) 
◮ allocation statique des ressources aux composants 
◮ ex´ecution sans pr´eemption de chaque tˆache 
◮ avantages 
◮ des op´erations techniquement simples 
◮ des ordonnancements reproductibles 
◮ inconv´enients 
◮ r´eservation fixe de ressources pour une utilisation potentiellement 
variable 
◮ tendance `a la sur-r´eservation 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 7 / 42
Contexte 
Diff´erentes approches pour l’ordonnancement 
Gestion dynamique des tˆaches 
(ex : gang-scheduling, co-scheduling [Feitelson et al., 95+]) 
◮ allocation dynamique des ressources aux composants des tˆaches 
◮ actions de manipulation `a la vol´ee du placement des composants et 
de l’´etat des tˆaches : migration, pr´eemption 
◮ avantages 
◮ allocation des ressources en fonction des besoins 
◮ optimisation en continu de l’ordonnancement 
◮ inconv´enients 
◮ des ordonnancements non reproductibles 
◮ une mise en oeuvre difficile 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 8 / 42
Contexte 
Gestion dynamique des tˆaches 
Des op´erations techniquement complexes 
◮ allocation dynamique des ressources 
◮ l’application doit s’adapter `a une disponibilit´e variable des ressources 
◮ migration, pr´eemption 
◮ l’int´egrit´e de l’application doit ˆetre assur´ee 
Des solutions limit´ees 
◮ les approches ad-hoc n´ecessitent l’adaptation des applications 
◮ les approches g´en´eriques supportent un type d’application restreint 
(ex : BLCR[Hargrove et al., SCIDAC’06]) 
◮ des actions coˆuteuses en temps et en ressources 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 9 / 42
Contexte 
Probl´ematique de la th`ese 
Les approches dynamiques : 
th´eoriquement plus efficaces, n´eglig´ees en pratique 
◮ des algorithmes d’ordonnancement peu adaptables 
◮ un support pour l’ex´ecution contraignant 
◮ une manipulation complexe des tˆaches 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 10 / 42
Contexte 
Contributions 
◮ une approche flexible pour l’impl´ementation d’ordonnanceurs 
◮ utilisation de la programmation par contraintes 
◮ un support adapt´e `a la gestion dynamique des tˆaches 
◮ utilisation des machines virtuelles 
◮ une manipulation efficace des tˆaches 
◮ la reconfiguration dynamique 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 11 / 42
Ordonnancement flexible avec des contraintes 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines virtuelles 
Reconfiguration dynamique 
Applications 
´Evaluation 
Bilan 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 12 / 42
Ordonnancement flexible avec des contraintes 
Ordonnancement flexible avec des contraintes 
La programmation par contraintes 
◮ une approche pour la mod´elisation et la r´esolution de probl`emes 
combinatoire 
◮ l’utilisateur mod´elise son probl`eme, le solveur le r´esoud 
◮ des contraintes standard, r´eutilisables et composables comme briques 
´el´ementaires des mod`eles 
◮ une m´ethode de r´esolution exacte, g´en´erique, mais qui peut prendre 
du temps pour des probl`emes complexes 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 13 / 42
Ordonnancement flexible avec des contraintes 
Ordonnancement flexible avec des contraintes 
Notre approche 
◮ une mod´elisation 
◮ de la grappe et de ses ressources 
◮ des tˆaches (´etats, besoins en ressources) 
◮ de l’affectation des composants des tˆaches aux noeuds 
◮ des contraintes additionnelles pour d´efinir des strat´egies 
d’ordonnancement sp´ecifiques 
◮ forcer l’´etat des tˆaches 
◮ forcer/interdire le placement de composants sur des noeuds 
◮ corr´eler les placements de groupes de composants 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 14 / 42
Une architecture reposant sur les machines virtuelles 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines virtuelles 
Reconfiguration dynamique 
Applications 
´Evaluation 
Bilan 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 15 / 42
Une architecture reposant sur les machines virtuelles 
Une architecture reposant sur les machines virtuelles 
La virtualisation[Popek et Golberg, 1974] 
◮ un nouveau niveau d’abstraction 
virtualise la couche mat´erielle 
◮ les applications et l’environnement 
d’ex´ecution sont isol´es dans des 
machines virtuelles (VMs) 
◮ l’hyperviseur contrˆole l’acc`es aux 
ressources des VMs 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 16 / 42
Une architecture reposant sur les machines virtuelles 
Une architecture reposant sur les machines virtuelles 
Chaque composant d’une tˆache est ex´ecut´e dans une machine virtuelle 
◮ l’effort d’adaptation des applications `a la grappe est r´eduit 
◮ le contrˆole des tˆaches est transparent et non-invasif 
◮ les primitives pour une gestion dynamique des tˆaches existent au 
niveau de l’hyperviseur 
◮ r´e-agencement : migration `a chaud [clark et al., NSDI’05] 
◮ pr´eemption : suspension sur disque, reprise 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 17 / 42
Reconfiguration dynamique 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines virtuelles 
Reconfiguration dynamique 
Applications 
´Evaluation 
Bilan 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 18 / 42
Reconfiguration dynamique 
Reconfiguration dynamique 
◮ r´e-agencer les tˆaches 
◮ les besoins en ressources des composants ne sont plus satisfaits 
◮ un meilleur ordonnancement est possible 
◮ probl´ematiques 
◮ planifier les actions manipulant les composants (les VMs) 
◮ ex´ecuter la reconfiguration le plus rapidement possible 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 19 / 42
Reconfiguration dynamique 
Cycle de vie des machines virtuelles 
Des actions 
◮ pour changer l’´etat 
d’une VM 
◮ pour re-positionner 
une VM 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 20 / 42
Reconfiguration dynamique 
La reconfiguration dynamique 
Ex´ecuter une action 
◮ `a un coˆut 
◮ temps d’ex´ecution 
(a) Temps d’ex´ecution d’une migra-tion 
selon diff´erents contextes 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 21 / 42
Reconfiguration dynamique 
La reconfiguration dynamique 
Ex´ecuter une action 
◮ `a un coˆut 
◮ temps d’ex´ecution 
◮ impact sur les performances 
des applications 
◮ une fonction ´evalue le coˆut 
(temporelle) de chaque action 
(b) Surcoˆut li´e `a une migration selon 
diff´erents contextes 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 21 / 42
Reconfiguration dynamique 
La reconfiguration dynamique 
Ex´ecuter une action 
◮ `a un coˆut 
◮ temps d’ex´ecution 
◮ impact sur les performances 
des applications 
◮ une fonction ´evalue le coˆut 
(temporelle) de chaque action 
◮ impacte sur la disponibilit´e des 
ressources des noeuds 
Action 
Impact sur les ressources 
Consommateur Lib´erateur 
Lancement X 
Arrˆet X 
Suspension X 
Reprise X 
Migration X X 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 21 / 42
Reconfiguration dynamique 
Planifier la reconfiguration 
Assurer la faisabilit´e des actions 
◮ des actions doivent ˆetre 
s´equenc´ees 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 22 / 42
Reconfiguration dynamique 
Planifier la reconfiguration 
Assurer la faisabilit´e des actions 
◮ des actions doivent ˆetre 
s´equenc´ees 
◮ des migrations suppl´ementaires 
sur un noeud pivot cassent des 
inter-d´ependances 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 22 / 42
Reconfiguration dynamique 
Optimiser la reconfiguration 
Un besoin de r´eactivit´e 
◮ les besoins en ressources des tˆaches varient dans le temps 
◮ une reconfiguration doit ˆetre rapide pour rester coh´erente 
◮ la somme des coˆuts des actions doit ˆetre la plus faible possible 
Des solutions pour r´eduire le temps de reconfiguration 
◮ ex´ecuter le moins d’actions possibles 
◮ ex´ecuter les actions les moins coˆuteuses 
◮ parall´eliser les actions 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 23 / 42
Reconfiguration dynamique 
Optimiser la reconfiguration 
Notre approche 
◮ des contraintes fixent l’´etat des VMs de la nouvelle configuration en 
fonction des ´etats souhait´es des tˆaches 
◮ des contraintes assurent la disponibilit´e des ressources pour les VMs 
◮ une heuristique calcule un plan r´ealisable de parall´elisme maximum 
associ´e `a une configuration 
◮ une fonction objectif s´electionne la configuration de plan le moins 
coˆuteux 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 24 / 42
Applications 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines virtuelles 
Reconfiguration dynamique 
Applications 
´Evaluation 
Bilan 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 25 / 42
Applications un prototype : Entropy 
Entropy 
Objectifs 
◮ un prototype pour la validation de nos travaux 
◮ une auto-optimisation en continu de l’´etat et de la position de 
machines virtuelles 
Deux sc´enarios d´evelopp´es durant cette th`ese 
◮ la consolidation dynamique 
◮ l’ordonnancement flexible de tˆaches 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 26 / 42
Applications un prototype : Entropy 
Boucle d’auto-adaptation 
Base de connaissances 
◮ une mod´elisation de l’ordonnancement de tˆaches sur une grappe avec 
le solveur de contraintes Choco 
◮ une API pour d´efinir des contraintes sur le mod`ele 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
Applications un prototype : Entropy 
Boucle d’auto-adaptation 
Supervision 
◮ interrogation d’un syst`eme de supervision pr´e-install´e 
(actuellement Ganglia) 
◮ capture l’´etat courant de la grappe 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
Applications un prototype : Entropy 
Boucle d’auto-adaptation 
D´ecision 
◮ analyse l’´etat courant de la grappe 
◮ d´eduit un nouvel ´etat pour les tˆaches satisfaisant des contraintes 
◮ un module personnalisable 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
Applications un prototype : Entropy 
Boucle d’auto-adaptation 
Planification 
◮ reconfiguration dynamique : calcule le plan le moins coˆuteux pour 
r´ealiser la transition entre l’´etat courant et le nouvel ´etat 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
Applications un prototype : Entropy 
Boucle d’auto-adaptation 
Ex´ecution 
◮ adapte les actions aux sp´ecificit´es de la grappe 
(actuellement des commandes SSH ou pour l’hyperviseur Xen) 
◮ ex´ecute le plan de reconfiguration 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
Applications Consolidation dynamique 
Consolidation dynamique 
Disponibilit´e et occupation des ressources 
◮ taux d’occupation de 53% en moyenne 
[Parallel Workload Archive] 
◮ pour des grappes disponibles `a 100% 
La consolidation 
h´eberger plusieurs machines virtuelles sur un mˆeme noeud 
◮ r´eduit la consommation ´energ´etique en cas de concentration 
◮ augmente la capacit´e d’accueil de la grappe 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 28 / 42
Applications Consolidation dynamique 
Consolidation dynamique 
La consolidation dynamique 
◮ les besoins en ressources des 
VMs varient et cr´eent des 
agencements non-viables 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 29 / 42
Applications Consolidation dynamique 
Consolidation dynamique 
La consolidation dynamique 
◮ les besoins en ressources des 
VMs varient et cr´eent des 
agencements non-viables 
◮ des migrations `a chaud 
r´e-agencent des VMs si besoin 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 29 / 42
Applications Consolidation dynamique 
Consolidation dynamique 
Impl´ementation dans Entropy 
◮ observation des besoins courants en ressources CPU 
◮ calcul du nombre de noeuds minimum pour h´eberger toutes les VMs 
◮ la reconfiguration dynamique 
◮ calcule une nouvelle configuration 
◮ assure que les VMs seront h´eberg´ees sur le nombre minimum de noeuds 
Une approche avec des contraintes 
compar´ee `a une approche heuristique standard 
X plus flexible 
X un r´esultat th´eoriquement meilleur 
× un temps de calcul plus long 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 30 / 42
Applications Ordonnancement flexible de tˆaches 
Ordonnancement flexible de tˆaches 
Simplifier le d´eveloppement d’ordonnanceurs 
◮ d´evelopper des ordonnanceurs pour grappe est complexe 
◮ le d´eveloppeur doit `a la fois consid´erer 
◮ le probl`eme li´e `a la s´election des tˆaches 
◮ les probl`emes li´es `a l’application de l’ordonnancement choisi 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 31 / 42
Applications Ordonnancement flexible de tˆaches 
Ordonnancement flexible de tˆaches 
Impl´ementation dans Entropy : 
le changement de contexte dans les grappes 
◮ le d´eveloppeur de l’algorithme 
◮ se focalise sur la s´election des tˆaches `a ex´ecuter 
◮ prouve par un exemple basique qu’un agencement viable existe 
◮ le changement de contexte se charge de la mise en place de la 
solution en un minimum de temps 
◮ suspend, reprend, lance et arrˆete des tˆaches 
◮ migre si n´ecessaire des composants 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 32 / 42
Applications Ordonnancement flexible de tˆaches 
Ordonnancement flexible de tˆaches 
Exemple d’algorithme 
◮ s´electionne les tˆaches `a ex´ecuter d`es qu’il existe suffisamment de 
ressources libres sur la grappe 
◮ le changement de contexte assure 
◮ la pr´eemption des tˆaches en cas de surcharge 
◮ une ex´ecution au plus tˆot 
◮ une adaptation `a des besoins en ressources variables 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 33 / 42
´E 
valuation 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines virtuelles 
Reconfiguration dynamique 
Applications 
´Evaluation 
Bilan 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 34 / 42
´E 
valuation 
´E 
valuation 
Objectifs 
◮ valider notre approche pour la r´eduction du temps de reconfiguration 
◮ estimer les temps de r´esolution de nos diff´erents modules 
◮ comparer la qualit´e des solutions rapport´ee `a des approches 
heuristiques 
◮ estimer l’impact sur les performances 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 35 / 42
´E 
valuation 
Micro-´evaluations 
Compar´e `a l’heuristique commune First 
Fit Decrease 
◮ un temps de r´esolution qui peut 
ˆetre important 
(c) ´Evolution de la r´esolution du 
probl`eme de consolidation dynamique 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 36 / 42
´E 
valuation 
Micro-´evaluations 
Compar´e `a l’heuristique commune First 
Fit Decrease 
◮ un temps de r´esolution qui peut 
ˆetre important 
◮ contrebalanc´e par la qualit´e des 
r´esultats 
(d) R´eduction du coˆut de la re-configuration 
compar´ee `a FFD pour 
diff´erentes classes de configuration 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 36 / 42
´E 
valuation 
´E 
valuations sur grappes 
Compar´e `a FFD 
◮ r´eduire le coˆut d’une reconfiguration 
r´eduit son temps d’ex´ecution 
◮ une plus grande r´eactivit´e 
◮ des reconfigurations plus 
fr´equentes 
(e) Coˆut et dur´ee des reconfigu-rations 
r´ealis´ees lors de l’ex´ecution 
d’applications de la suite NASGrid 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 37 / 42
´E 
valuation 
´E 
valuations sur grappes 
Compar´e `a FFD 
◮ r´eduire le coˆut d’une reconfiguration 
r´eduit son temps d’ex´ecution 
◮ une plus grande r´eactivit´e 
◮ des reconfigurations plus 
fr´equentes 
◮ un impact r´eduit sur les 
performances (+11%) 
(f) Temps d’ex´ecution d’applications 
de la suite NASGrid selon l’approche 
pour la reconfiguration 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 37 / 42
´E 
valuation 
´E 
valuations sur grappes 
Compar´e `a FFD 
◮ r´eduire le coˆut d’une reconfiguration 
r´eduit son temps d’ex´ecution 
◮ une plus grande r´eactivit´e 
◮ des reconfigurations plus 
fr´equentes 
◮ un impact r´eduit sur les 
performances (+11%) 
◮ une meilleure utilisation des 
ressources (-50%) 
(g) Temps d’ex´ecution d’applications 
de la suite NASGrid selon l’approche 
pour la reconfiguration 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 37 / 42
Bilan 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines virtuelles 
Reconfiguration dynamique 
Applications 
´Evaluation 
Bilan 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 38 / 42
Bilan 
Conclusion 
◮ la virtualisation facilite l’ex´ecution de strat´egies de gestion dynamique 
des tˆaches 
◮ la programmation par contraintes 
◮ facilite le d´eveloppement de strat´egies sp´ecifiques 
◮ propose des solutions de qualit´e qui justifient un temps de r´esolution 
long 
◮ le prototype Entropy valide empiriquement l’approche 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 39 / 42
Bilan 
Perspectives de cette th`ese 
Ordonnancement 
◮ am´eliorer l’utilisabilit´e 
◮ une approche d´eclarative par un langage d´edi´e 
◮ augmenter la flexibilit´e du processus de reconfiguration 
◮ une approche contraintes pure 
Entropy 
◮ consid´erer d’autres types de ressources 
◮ bande passante et latence r´eseau 
◮ int´egrer Entropy dans des gestionnaires de grappes `a base de VMs 
existants 
◮ une meilleure visibilit´e 
◮ identifier `a de nouveaux besoins, cas d’utilisation, et valider la 
granularit´e de notre mod`ele 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 40 / 42
Bilan 
Bilan 
◮ la virtualisation 
◮ une solution adopt´ee dans les centres d’h´ebergement 
◮ un candidat s´erieux pour faciliter l’ordonnancement 
◮ des actions manipulant les machines virtuelles encore trop basiques 
◮ l’informatique en nuage, un domaine ´emergent 
◮ l’h´ebergement n’est plus `a la charge de l’utilisateur 
◮ les syst`emes devront assurer un placement satisfaisant des besoins 
concrets 
◮ ordonnancement reposant sur des contraintes 
◮ une approche adapt´ee `a la taille de ces architectures immenses ? 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 41 / 42
Bilan 
Diffusion 
◮ publications 
◮ conf´erence internationale : VEE’09 
◮ conf´erences nationale : CFSE’06, CFSE’07 
◮ atelier international : XHPC’06 
◮ poster : OSDI’08 
◮ valorisation 
◮ Entropy est disponible sous licence LGPL 
◮ tests en cours `a la Direction G´en´erale des FInances Publiques 
◮ un projet ANR reprenant nos travaux : Self-XL 
Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 42 / 42

Más contenido relacionado

Destacado

5248555 20110408062638
5248555 201104080626385248555 20110408062638
5248555 20110408062638metalium
 
Ley de peritos ingenieros
Ley de peritos ingenierosLey de peritos ingenieros
Ley de peritos ingenierosmiope123
 
De coloquialidad y registro oral: «dubbese», marcadores del discurso y proble...
De coloquialidad y registro oral: «dubbese», marcadores del discurso y proble...De coloquialidad y registro oral: «dubbese», marcadores del discurso y proble...
De coloquialidad y registro oral: «dubbese», marcadores del discurso y proble...Albertofh
 
Objetivos realizados en el año 2014 r03v2007
Objetivos realizados en el año 2014 r03v2007Objetivos realizados en el año 2014 r03v2007
Objetivos realizados en el año 2014 r03v2007Manuel Castrejon
 
Anonymous Attacks On Tunisian Government
Anonymous Attacks On Tunisian GovernmentAnonymous Attacks On Tunisian Government
Anonymous Attacks On Tunisian GovernmentPositive Hack Days
 
Sector Arquitectura a Construmat
Sector Arquitectura a ConstrumatSector Arquitectura a Construmat
Sector Arquitectura a ConstrumatSector Arquitectura
 
En memoria de mi padre jose de jesus barocio olmedo
En memoria de mi padre   jose de jesus barocio olmedoEn memoria de mi padre   jose de jesus barocio olmedo
En memoria de mi padre jose de jesus barocio olmedoIrma Barocio Esquivel
 

Destacado (10)

5248555 20110408062638
5248555 201104080626385248555 20110408062638
5248555 20110408062638
 
Abtech MJB5 HV ATEX & IECEx Enclosure
Abtech MJB5 HV ATEX & IECEx EnclosureAbtech MJB5 HV ATEX & IECEx Enclosure
Abtech MJB5 HV ATEX & IECEx Enclosure
 
Ley de peritos ingenieros
Ley de peritos ingenierosLey de peritos ingenieros
Ley de peritos ingenieros
 
De coloquialidad y registro oral: «dubbese», marcadores del discurso y proble...
De coloquialidad y registro oral: «dubbese», marcadores del discurso y proble...De coloquialidad y registro oral: «dubbese», marcadores del discurso y proble...
De coloquialidad y registro oral: «dubbese», marcadores del discurso y proble...
 
Objetivos realizados en el año 2014 r03v2007
Objetivos realizados en el año 2014 r03v2007Objetivos realizados en el año 2014 r03v2007
Objetivos realizados en el año 2014 r03v2007
 
Anonymous Attacks On Tunisian Government
Anonymous Attacks On Tunisian GovernmentAnonymous Attacks On Tunisian Government
Anonymous Attacks On Tunisian Government
 
Sector Arquitectura a Construmat
Sector Arquitectura a ConstrumatSector Arquitectura a Construmat
Sector Arquitectura a Construmat
 
Ppt grupo1
Ppt grupo1Ppt grupo1
Ppt grupo1
 
CIHA Syllabus
CIHA SyllabusCIHA Syllabus
CIHA Syllabus
 
En memoria de mi padre jose de jesus barocio olmedo
En memoria de mi padre   jose de jesus barocio olmedoEn memoria de mi padre   jose de jesus barocio olmedo
En memoria de mi padre jose de jesus barocio olmedo
 

Similar a Gestion dynamique des tâches dans les grappes. Une approche à base de machines virtuelles

Conseils virtualisation serveurs
Conseils virtualisation serveursConseils virtualisation serveurs
Conseils virtualisation serveursPROJECT SI
 
elastic business process management: state of the art and open challenges for...
elastic business process management: state of the art and open challenges for...elastic business process management: state of the art and open challenges for...
elastic business process management: state of the art and open challenges for...omri med
 
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologieLeClubQualiteLogicielle
 
Dp0155 formation-symantec-netbackup-7-5-for-unix-windows-administration-avancee
Dp0155 formation-symantec-netbackup-7-5-for-unix-windows-administration-avanceeDp0155 formation-symantec-netbackup-7-5-for-unix-windows-administration-avancee
Dp0155 formation-symantec-netbackup-7-5-for-unix-windows-administration-avanceeCERTyou Formation
 
Aquassay - Club Industrie Performance Energetique et Hydrique - 23 11 2017
Aquassay - Club Industrie Performance Energetique et Hydrique - 23 11 2017Aquassay - Club Industrie Performance Energetique et Hydrique - 23 11 2017
Aquassay - Club Industrie Performance Energetique et Hydrique - 23 11 2017polenumerique33
 
soutenancefindtudem-131022143503-phpapp02.pptx
soutenancefindtudem-131022143503-phpapp02.pptxsoutenancefindtudem-131022143503-phpapp02.pptx
soutenancefindtudem-131022143503-phpapp02.pptxamalbenramdhane
 
Évaluation des stratégies d'allocation dynamique des ressources dans les cent...
Évaluation des stratégies d'allocation dynamique des ressources dans les cent...Évaluation des stratégies d'allocation dynamique des ressources dans les cent...
Évaluation des stratégies d'allocation dynamique des ressources dans les cent...Soufiane MIR
 
Seminaire serres andrieu_profils vitesse
Seminaire serres andrieu_profils vitesseSeminaire serres andrieu_profils vitesse
Seminaire serres andrieu_profils vitesseGuillaumeSaintPierre
 
Ss84 g formation-implementation-de-dfsms
Ss84 g formation-implementation-de-dfsmsSs84 g formation-implementation-de-dfsms
Ss84 g formation-implementation-de-dfsmsCERTyou Formation
 
La logistique a L'ère de l'industrie 4.0
La logistique a L'ère de l'industrie 4.0La logistique a L'ère de l'industrie 4.0
La logistique a L'ère de l'industrie 4.0ourssoula
 
Soutenance de stage Ingénieur
Soutenance de stage IngénieurSoutenance de stage Ingénieur
Soutenance de stage IngénieurFaten Chalbi
 
rapport_ecrit_final
rapport_ecrit_finalrapport_ecrit_final
rapport_ecrit_finalJean Ibarz
 
Présentation de profil - F. Elkouby - Chef de projet & Delivery Management SAP
Présentation de profil - F. Elkouby - Chef de projet & Delivery Management SAPPrésentation de profil - F. Elkouby - Chef de projet & Delivery Management SAP
Présentation de profil - F. Elkouby - Chef de projet & Delivery Management SAPfabien_elkouby
 
Rs404 g formation-organiser-les-developpements-avec-rational-clearcase-et-ucm
Rs404 g formation-organiser-les-developpements-avec-rational-clearcase-et-ucmRs404 g formation-organiser-les-developpements-avec-rational-clearcase-et-ucm
Rs404 g formation-organiser-les-developpements-avec-rational-clearcase-et-ucmCERTyou Formation
 
[XamarinDay] Xamarin et le Cloud, better together !
[XamarinDay] Xamarin et le Cloud, better together ! [XamarinDay] Xamarin et le Cloud, better together !
[XamarinDay] Xamarin et le Cloud, better together ! Cellenza
 
La virtualisation de_serveurs
La virtualisation de_serveursLa virtualisation de_serveurs
La virtualisation de_serveursNidhal Fersi
 

Similar a Gestion dynamique des tâches dans les grappes. Une approche à base de machines virtuelles (20)

Conseils virtualisation serveurs
Conseils virtualisation serveursConseils virtualisation serveurs
Conseils virtualisation serveurs
 
elastic business process management: state of the art and open challenges for...
elastic business process management: state of the art and open challenges for...elastic business process management: state of the art and open challenges for...
elastic business process management: state of the art and open challenges for...
 
Cloud
CloudCloud
Cloud
 
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
 
Dp0155 formation-symantec-netbackup-7-5-for-unix-windows-administration-avancee
Dp0155 formation-symantec-netbackup-7-5-for-unix-windows-administration-avanceeDp0155 formation-symantec-netbackup-7-5-for-unix-windows-administration-avancee
Dp0155 formation-symantec-netbackup-7-5-for-unix-windows-administration-avancee
 
Aquassay - Club Industrie Performance Energetique et Hydrique - 23 11 2017
Aquassay - Club Industrie Performance Energetique et Hydrique - 23 11 2017Aquassay - Club Industrie Performance Energetique et Hydrique - 23 11 2017
Aquassay - Club Industrie Performance Energetique et Hydrique - 23 11 2017
 
soutenancefindtudem-131022143503-phpapp02.pptx
soutenancefindtudem-131022143503-phpapp02.pptxsoutenancefindtudem-131022143503-phpapp02.pptx
soutenancefindtudem-131022143503-phpapp02.pptx
 
Évaluation des stratégies d'allocation dynamique des ressources dans les cent...
Évaluation des stratégies d'allocation dynamique des ressources dans les cent...Évaluation des stratégies d'allocation dynamique des ressources dans les cent...
Évaluation des stratégies d'allocation dynamique des ressources dans les cent...
 
Seminaire serres andrieu_profils vitesse
Seminaire serres andrieu_profils vitesseSeminaire serres andrieu_profils vitesse
Seminaire serres andrieu_profils vitesse
 
Techdays Par219
Techdays Par219Techdays Par219
Techdays Par219
 
Ss84 g formation-implementation-de-dfsms
Ss84 g formation-implementation-de-dfsmsSs84 g formation-implementation-de-dfsms
Ss84 g formation-implementation-de-dfsms
 
La logistique a L'ère de l'industrie 4.0
La logistique a L'ère de l'industrie 4.0La logistique a L'ère de l'industrie 4.0
La logistique a L'ère de l'industrie 4.0
 
Soutenance de stage Ingénieur
Soutenance de stage IngénieurSoutenance de stage Ingénieur
Soutenance de stage Ingénieur
 
rapport_ecrit_final
rapport_ecrit_finalrapport_ecrit_final
rapport_ecrit_final
 
Présentation de profil - F. Elkouby - Chef de projet & Delivery Management SAP
Présentation de profil - F. Elkouby - Chef de projet & Delivery Management SAPPrésentation de profil - F. Elkouby - Chef de projet & Delivery Management SAP
Présentation de profil - F. Elkouby - Chef de projet & Delivery Management SAP
 
Rs404 g formation-organiser-les-developpements-avec-rational-clearcase-et-ucm
Rs404 g formation-organiser-les-developpements-avec-rational-clearcase-et-ucmRs404 g formation-organiser-les-developpements-avec-rational-clearcase-et-ucm
Rs404 g formation-organiser-les-developpements-avec-rational-clearcase-et-ucm
 
[XamarinDay] Xamarin et le Cloud, better together !
[XamarinDay] Xamarin et le Cloud, better together ! [XamarinDay] Xamarin et le Cloud, better together !
[XamarinDay] Xamarin et le Cloud, better together !
 
La virtualisation de_serveurs
La virtualisation de_serveursLa virtualisation de_serveurs
La virtualisation de_serveurs
 
slides_reloaded
slides_reloadedslides_reloaded
slides_reloaded
 
cv_chaker_jouini_fr
cv_chaker_jouini_frcv_chaker_jouini_fr
cv_chaker_jouini_fr
 

Gestion dynamique des tâches dans les grappes. Une approche à base de machines virtuelles

  • 1. Gestion dynamique des tˆaches dans les grappes une approche `a base de machines virtuelles Fabien Hermenier ´Equipe ASCOLA, ´Ecole des Mines de Nantes 26 novembre 2009 Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 1 / 42
  • 2. Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 2 / 42
  • 3. Contexte Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 3 / 42
  • 4. Contexte Grappe de serveurs ◮ des machines (noeuds) interconnect´ees mettent `a disposition leurs ressources (mat´erielles, logicielles) ◮ des utilisateurs soumettent en continu des tˆaches dont l’ex´ecution requiert une grande quantit´e de ressources (calcul scientifique) Tˆaches ◮ des applications souvent distribu´ees dont les composants peuvent s’ex´ecuter sur des noeuds diff´erents ◮ les quantit´es de ressources (mat´erielles, logicielles) n´ecessaires `a leur ex´ecution sont d´ecrites par l’utilisateur Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 4 / 42
  • 5. Contexte Le gestionnaire de ressources ◮ service responsable de l’ex´ecution des tˆaches sur la grappe ◮ consulte les descriptions des tˆaches et l’´etat de la grappe Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 5 / 42
  • 6. Contexte Le gestionnaire de ressources ◮ service responsable de l’ex´ecution des tˆaches sur la grappe ◮ consulte les descriptions des tˆaches et l’´etat de la grappe ◮ s´electionne avec une strat´egie d’ordonnancement ◮ les tˆaches `a ex´ecuter ◮ les noeuds qui h´ebergeront les composants des tˆaches Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 5 / 42
  • 7. Contexte Des besoins en ordonnancement vari´es Des objectifs diff´erents ◮ diff´erentes strat´egies d’ordonnancement ◮ r´eduire le temps d’attente avant l’ex´ecution des tˆaches ◮ r´eduire le nombre de noeuds n´ecessaire `a l’ex´ecution des tˆaches ◮ etc. ◮ des contraintes de placement des composants sp´ecifiques ◮ placement relativement `a des noeuds ou d’autres composants ◮ partitionnement de la grappe en fonction des utilisateurs ◮ etc. Des approches actuelles peu flexibles ◮ diff´erentes heuristiques ad-hoc ◮ des strat´egies d’ordonnancement au champ d’application limit´e Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 6 / 42
  • 8. Contexte Diff´erentes approches pour l’ordonnancement Gestion statique des tˆaches (ex : EDF [Liu et al., JACM’73], EASY [Lifka, IPPS’95]) ◮ allocation statique des ressources aux composants ◮ ex´ecution sans pr´eemption de chaque tˆache ◮ avantages ◮ des op´erations techniquement simples ◮ des ordonnancements reproductibles ◮ inconv´enients ◮ r´eservation fixe de ressources pour une utilisation potentiellement variable ◮ tendance `a la sur-r´eservation Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 7 / 42
  • 9. Contexte Diff´erentes approches pour l’ordonnancement Gestion dynamique des tˆaches (ex : gang-scheduling, co-scheduling [Feitelson et al., 95+]) ◮ allocation dynamique des ressources aux composants des tˆaches ◮ actions de manipulation `a la vol´ee du placement des composants et de l’´etat des tˆaches : migration, pr´eemption ◮ avantages ◮ allocation des ressources en fonction des besoins ◮ optimisation en continu de l’ordonnancement ◮ inconv´enients ◮ des ordonnancements non reproductibles ◮ une mise en oeuvre difficile Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 8 / 42
  • 10. Contexte Gestion dynamique des tˆaches Des op´erations techniquement complexes ◮ allocation dynamique des ressources ◮ l’application doit s’adapter `a une disponibilit´e variable des ressources ◮ migration, pr´eemption ◮ l’int´egrit´e de l’application doit ˆetre assur´ee Des solutions limit´ees ◮ les approches ad-hoc n´ecessitent l’adaptation des applications ◮ les approches g´en´eriques supportent un type d’application restreint (ex : BLCR[Hargrove et al., SCIDAC’06]) ◮ des actions coˆuteuses en temps et en ressources Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 9 / 42
  • 11. Contexte Probl´ematique de la th`ese Les approches dynamiques : th´eoriquement plus efficaces, n´eglig´ees en pratique ◮ des algorithmes d’ordonnancement peu adaptables ◮ un support pour l’ex´ecution contraignant ◮ une manipulation complexe des tˆaches Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 10 / 42
  • 12. Contexte Contributions ◮ une approche flexible pour l’impl´ementation d’ordonnanceurs ◮ utilisation de la programmation par contraintes ◮ un support adapt´e `a la gestion dynamique des tˆaches ◮ utilisation des machines virtuelles ◮ une manipulation efficace des tˆaches ◮ la reconfiguration dynamique Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 11 / 42
  • 13. Ordonnancement flexible avec des contraintes Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 12 / 42
  • 14. Ordonnancement flexible avec des contraintes Ordonnancement flexible avec des contraintes La programmation par contraintes ◮ une approche pour la mod´elisation et la r´esolution de probl`emes combinatoire ◮ l’utilisateur mod´elise son probl`eme, le solveur le r´esoud ◮ des contraintes standard, r´eutilisables et composables comme briques ´el´ementaires des mod`eles ◮ une m´ethode de r´esolution exacte, g´en´erique, mais qui peut prendre du temps pour des probl`emes complexes Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 13 / 42
  • 15. Ordonnancement flexible avec des contraintes Ordonnancement flexible avec des contraintes Notre approche ◮ une mod´elisation ◮ de la grappe et de ses ressources ◮ des tˆaches (´etats, besoins en ressources) ◮ de l’affectation des composants des tˆaches aux noeuds ◮ des contraintes additionnelles pour d´efinir des strat´egies d’ordonnancement sp´ecifiques ◮ forcer l’´etat des tˆaches ◮ forcer/interdire le placement de composants sur des noeuds ◮ corr´eler les placements de groupes de composants Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 14 / 42
  • 16. Une architecture reposant sur les machines virtuelles Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 15 / 42
  • 17. Une architecture reposant sur les machines virtuelles Une architecture reposant sur les machines virtuelles La virtualisation[Popek et Golberg, 1974] ◮ un nouveau niveau d’abstraction virtualise la couche mat´erielle ◮ les applications et l’environnement d’ex´ecution sont isol´es dans des machines virtuelles (VMs) ◮ l’hyperviseur contrˆole l’acc`es aux ressources des VMs Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 16 / 42
  • 18. Une architecture reposant sur les machines virtuelles Une architecture reposant sur les machines virtuelles Chaque composant d’une tˆache est ex´ecut´e dans une machine virtuelle ◮ l’effort d’adaptation des applications `a la grappe est r´eduit ◮ le contrˆole des tˆaches est transparent et non-invasif ◮ les primitives pour une gestion dynamique des tˆaches existent au niveau de l’hyperviseur ◮ r´e-agencement : migration `a chaud [clark et al., NSDI’05] ◮ pr´eemption : suspension sur disque, reprise Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 17 / 42
  • 19. Reconfiguration dynamique Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 18 / 42
  • 20. Reconfiguration dynamique Reconfiguration dynamique ◮ r´e-agencer les tˆaches ◮ les besoins en ressources des composants ne sont plus satisfaits ◮ un meilleur ordonnancement est possible ◮ probl´ematiques ◮ planifier les actions manipulant les composants (les VMs) ◮ ex´ecuter la reconfiguration le plus rapidement possible Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 19 / 42
  • 21. Reconfiguration dynamique Cycle de vie des machines virtuelles Des actions ◮ pour changer l’´etat d’une VM ◮ pour re-positionner une VM Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 20 / 42
  • 22. Reconfiguration dynamique La reconfiguration dynamique Ex´ecuter une action ◮ `a un coˆut ◮ temps d’ex´ecution (a) Temps d’ex´ecution d’une migra-tion selon diff´erents contextes Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 21 / 42
  • 23. Reconfiguration dynamique La reconfiguration dynamique Ex´ecuter une action ◮ `a un coˆut ◮ temps d’ex´ecution ◮ impact sur les performances des applications ◮ une fonction ´evalue le coˆut (temporelle) de chaque action (b) Surcoˆut li´e `a une migration selon diff´erents contextes Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 21 / 42
  • 24. Reconfiguration dynamique La reconfiguration dynamique Ex´ecuter une action ◮ `a un coˆut ◮ temps d’ex´ecution ◮ impact sur les performances des applications ◮ une fonction ´evalue le coˆut (temporelle) de chaque action ◮ impacte sur la disponibilit´e des ressources des noeuds Action Impact sur les ressources Consommateur Lib´erateur Lancement X Arrˆet X Suspension X Reprise X Migration X X Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 21 / 42
  • 25. Reconfiguration dynamique Planifier la reconfiguration Assurer la faisabilit´e des actions ◮ des actions doivent ˆetre s´equenc´ees Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 22 / 42
  • 26. Reconfiguration dynamique Planifier la reconfiguration Assurer la faisabilit´e des actions ◮ des actions doivent ˆetre s´equenc´ees ◮ des migrations suppl´ementaires sur un noeud pivot cassent des inter-d´ependances Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 22 / 42
  • 27. Reconfiguration dynamique Optimiser la reconfiguration Un besoin de r´eactivit´e ◮ les besoins en ressources des tˆaches varient dans le temps ◮ une reconfiguration doit ˆetre rapide pour rester coh´erente ◮ la somme des coˆuts des actions doit ˆetre la plus faible possible Des solutions pour r´eduire le temps de reconfiguration ◮ ex´ecuter le moins d’actions possibles ◮ ex´ecuter les actions les moins coˆuteuses ◮ parall´eliser les actions Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 23 / 42
  • 28. Reconfiguration dynamique Optimiser la reconfiguration Notre approche ◮ des contraintes fixent l’´etat des VMs de la nouvelle configuration en fonction des ´etats souhait´es des tˆaches ◮ des contraintes assurent la disponibilit´e des ressources pour les VMs ◮ une heuristique calcule un plan r´ealisable de parall´elisme maximum associ´e `a une configuration ◮ une fonction objectif s´electionne la configuration de plan le moins coˆuteux Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 24 / 42
  • 29. Applications Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 25 / 42
  • 30. Applications un prototype : Entropy Entropy Objectifs ◮ un prototype pour la validation de nos travaux ◮ une auto-optimisation en continu de l’´etat et de la position de machines virtuelles Deux sc´enarios d´evelopp´es durant cette th`ese ◮ la consolidation dynamique ◮ l’ordonnancement flexible de tˆaches Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 26 / 42
  • 31. Applications un prototype : Entropy Boucle d’auto-adaptation Base de connaissances ◮ une mod´elisation de l’ordonnancement de tˆaches sur une grappe avec le solveur de contraintes Choco ◮ une API pour d´efinir des contraintes sur le mod`ele Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
  • 32. Applications un prototype : Entropy Boucle d’auto-adaptation Supervision ◮ interrogation d’un syst`eme de supervision pr´e-install´e (actuellement Ganglia) ◮ capture l’´etat courant de la grappe Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
  • 33. Applications un prototype : Entropy Boucle d’auto-adaptation D´ecision ◮ analyse l’´etat courant de la grappe ◮ d´eduit un nouvel ´etat pour les tˆaches satisfaisant des contraintes ◮ un module personnalisable Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
  • 34. Applications un prototype : Entropy Boucle d’auto-adaptation Planification ◮ reconfiguration dynamique : calcule le plan le moins coˆuteux pour r´ealiser la transition entre l’´etat courant et le nouvel ´etat Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
  • 35. Applications un prototype : Entropy Boucle d’auto-adaptation Ex´ecution ◮ adapte les actions aux sp´ecificit´es de la grappe (actuellement des commandes SSH ou pour l’hyperviseur Xen) ◮ ex´ecute le plan de reconfiguration Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
  • 36. Applications Consolidation dynamique Consolidation dynamique Disponibilit´e et occupation des ressources ◮ taux d’occupation de 53% en moyenne [Parallel Workload Archive] ◮ pour des grappes disponibles `a 100% La consolidation h´eberger plusieurs machines virtuelles sur un mˆeme noeud ◮ r´eduit la consommation ´energ´etique en cas de concentration ◮ augmente la capacit´e d’accueil de la grappe Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 28 / 42
  • 37. Applications Consolidation dynamique Consolidation dynamique La consolidation dynamique ◮ les besoins en ressources des VMs varient et cr´eent des agencements non-viables Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 29 / 42
  • 38. Applications Consolidation dynamique Consolidation dynamique La consolidation dynamique ◮ les besoins en ressources des VMs varient et cr´eent des agencements non-viables ◮ des migrations `a chaud r´e-agencent des VMs si besoin Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 29 / 42
  • 39. Applications Consolidation dynamique Consolidation dynamique Impl´ementation dans Entropy ◮ observation des besoins courants en ressources CPU ◮ calcul du nombre de noeuds minimum pour h´eberger toutes les VMs ◮ la reconfiguration dynamique ◮ calcule une nouvelle configuration ◮ assure que les VMs seront h´eberg´ees sur le nombre minimum de noeuds Une approche avec des contraintes compar´ee `a une approche heuristique standard X plus flexible X un r´esultat th´eoriquement meilleur × un temps de calcul plus long Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 30 / 42
  • 40. Applications Ordonnancement flexible de tˆaches Ordonnancement flexible de tˆaches Simplifier le d´eveloppement d’ordonnanceurs ◮ d´evelopper des ordonnanceurs pour grappe est complexe ◮ le d´eveloppeur doit `a la fois consid´erer ◮ le probl`eme li´e `a la s´election des tˆaches ◮ les probl`emes li´es `a l’application de l’ordonnancement choisi Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 31 / 42
  • 41. Applications Ordonnancement flexible de tˆaches Ordonnancement flexible de tˆaches Impl´ementation dans Entropy : le changement de contexte dans les grappes ◮ le d´eveloppeur de l’algorithme ◮ se focalise sur la s´election des tˆaches `a ex´ecuter ◮ prouve par un exemple basique qu’un agencement viable existe ◮ le changement de contexte se charge de la mise en place de la solution en un minimum de temps ◮ suspend, reprend, lance et arrˆete des tˆaches ◮ migre si n´ecessaire des composants Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 32 / 42
  • 42. Applications Ordonnancement flexible de tˆaches Ordonnancement flexible de tˆaches Exemple d’algorithme ◮ s´electionne les tˆaches `a ex´ecuter d`es qu’il existe suffisamment de ressources libres sur la grappe ◮ le changement de contexte assure ◮ la pr´eemption des tˆaches en cas de surcharge ◮ une ex´ecution au plus tˆot ◮ une adaptation `a des besoins en ressources variables Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 33 / 42
  • 43. ´E valuation Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 34 / 42
  • 44. ´E valuation ´E valuation Objectifs ◮ valider notre approche pour la r´eduction du temps de reconfiguration ◮ estimer les temps de r´esolution de nos diff´erents modules ◮ comparer la qualit´e des solutions rapport´ee `a des approches heuristiques ◮ estimer l’impact sur les performances Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 35 / 42
  • 45. ´E valuation Micro-´evaluations Compar´e `a l’heuristique commune First Fit Decrease ◮ un temps de r´esolution qui peut ˆetre important (c) ´Evolution de la r´esolution du probl`eme de consolidation dynamique Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 36 / 42
  • 46. ´E valuation Micro-´evaluations Compar´e `a l’heuristique commune First Fit Decrease ◮ un temps de r´esolution qui peut ˆetre important ◮ contrebalanc´e par la qualit´e des r´esultats (d) R´eduction du coˆut de la re-configuration compar´ee `a FFD pour diff´erentes classes de configuration Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 36 / 42
  • 47. ´E valuation ´E valuations sur grappes Compar´e `a FFD ◮ r´eduire le coˆut d’une reconfiguration r´eduit son temps d’ex´ecution ◮ une plus grande r´eactivit´e ◮ des reconfigurations plus fr´equentes (e) Coˆut et dur´ee des reconfigu-rations r´ealis´ees lors de l’ex´ecution d’applications de la suite NASGrid Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 37 / 42
  • 48. ´E valuation ´E valuations sur grappes Compar´e `a FFD ◮ r´eduire le coˆut d’une reconfiguration r´eduit son temps d’ex´ecution ◮ une plus grande r´eactivit´e ◮ des reconfigurations plus fr´equentes ◮ un impact r´eduit sur les performances (+11%) (f) Temps d’ex´ecution d’applications de la suite NASGrid selon l’approche pour la reconfiguration Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 37 / 42
  • 49. ´E valuation ´E valuations sur grappes Compar´e `a FFD ◮ r´eduire le coˆut d’une reconfiguration r´eduit son temps d’ex´ecution ◮ une plus grande r´eactivit´e ◮ des reconfigurations plus fr´equentes ◮ un impact r´eduit sur les performances (+11%) ◮ une meilleure utilisation des ressources (-50%) (g) Temps d’ex´ecution d’applications de la suite NASGrid selon l’approche pour la reconfiguration Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 37 / 42
  • 50. Bilan Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 38 / 42
  • 51. Bilan Conclusion ◮ la virtualisation facilite l’ex´ecution de strat´egies de gestion dynamique des tˆaches ◮ la programmation par contraintes ◮ facilite le d´eveloppement de strat´egies sp´ecifiques ◮ propose des solutions de qualit´e qui justifient un temps de r´esolution long ◮ le prototype Entropy valide empiriquement l’approche Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 39 / 42
  • 52. Bilan Perspectives de cette th`ese Ordonnancement ◮ am´eliorer l’utilisabilit´e ◮ une approche d´eclarative par un langage d´edi´e ◮ augmenter la flexibilit´e du processus de reconfiguration ◮ une approche contraintes pure Entropy ◮ consid´erer d’autres types de ressources ◮ bande passante et latence r´eseau ◮ int´egrer Entropy dans des gestionnaires de grappes `a base de VMs existants ◮ une meilleure visibilit´e ◮ identifier `a de nouveaux besoins, cas d’utilisation, et valider la granularit´e de notre mod`ele Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 40 / 42
  • 53. Bilan Bilan ◮ la virtualisation ◮ une solution adopt´ee dans les centres d’h´ebergement ◮ un candidat s´erieux pour faciliter l’ordonnancement ◮ des actions manipulant les machines virtuelles encore trop basiques ◮ l’informatique en nuage, un domaine ´emergent ◮ l’h´ebergement n’est plus `a la charge de l’utilisateur ◮ les syst`emes devront assurer un placement satisfaisant des besoins concrets ◮ ordonnancement reposant sur des contraintes ◮ une approche adapt´ee `a la taille de ces architectures immenses ? Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 41 / 42
  • 54. Bilan Diffusion ◮ publications ◮ conf´erence internationale : VEE’09 ◮ conf´erences nationale : CFSE’06, CFSE’07 ◮ atelier international : XHPC’06 ◮ poster : OSDI’08 ◮ valorisation ◮ Entropy est disponible sous licence LGPL ◮ tests en cours `a la Direction G´en´erale des FInances Publiques ◮ un projet ANR reprenant nos travaux : Self-XL Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 42 / 42