1.
Benchmark Clouds Iaas publics
(taille medium, linux)
Pour obtenir l’étude complète, envoyez un mail à contact@gekko.fr
France – Q1 2016

2.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
A propos de Gekko
www.gekko.fr
P 2
connect
Migrer dans le cloud,
déployer un réseau à faible
latence.
Patterns devops, POP cloud
exchange, APIs
scale
Dimensionner et
concevoir une
architecture flexible.
Conseil, sélection,
méthodologie
protect
Fiabiliser et
automatiser.
DRP & réplication,
supervision
Gekko a été créée par une équipe
de professionnels du Datacenter,
du Cloud et de la Business
Continuity.
Impliqués depuis 2012 dans le
déploiement de projets hybrides,
acteurs de l’installation de Softlayer
(cloud public IBM) en France,
r o m p u s a u x t e c h n o l o g i e s
o p e n s t a c k / d e v o p s , i l s
rassemblent les compétences et
les offres pour donner de bonnes
fondations aux projets digitaux.
Notre mission: Une infrastructure flexible, connectée et sécurisée

3.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
Pourquoi comparer les offres de Cloud?
www.gekko.fr
P 3
Des questions de plus en plus légitimes…
Quelles performances réelles?
Avec quelle stabilité?
Sensibilité au type de charge?
Sensibilité à l’OS?
Des choix de plus en plus complexes….
Richesse des offres et des options
Diversité des approches
Politiques de tarification différentes
Une importance croissante de rationaliser pour ne pas subir
Workloads de production et plus seulement de tests & dev
Facturations mensuelles devenant significatives

4.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
Pourquoi c’est important?
La performance est
à peu près la même
pour des images de
caractéristiques
comparables
Idée pré-conçue n°1:
www.gekko.fr

5.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
Rapport 1 à 3.5
Pourquoi c’est important?
P 5
La performance est
à peu près la même
pour des images de
caractéristiques
comparables
Idée pré-conçue n°1:
www.gekko.fr
CSP 1 CSP 2 CSP 3 CSP 4 CSP 5 CSP 6 CSP 7

6.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
Pourquoi c’est important?
www.gekko.fr
P 6
Avec la concurrence,
les prix tendent à
être à peu près
alignés
Idée pré-conçue n°2:

7.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
Pourquoi c’est important?
www.gekko.fr
P 7
Avec la concurrence,
les prix tendent à
être à peu près
alignés
Idée pré-conçue n°2:
Rapport 1 à 2 Rapport 1 à 2.5
CSP 2 CSP 4 CSP 1 CSP 6 CSP 7 CSP 5 CSP 3 CSP 7 CSP 4 CSP 2 CSP 5 CSP 6 CSP 1 CSP 3

8.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
• Etudier l’offre « corporate » à disposition des
entreprises françaises
– PODs en UE vs réglementation (données à
caractères personnel, Safe Harbor)
– Empreinte internationale
– Masse critique
• Mesurer le rapport prix / performance dans
l’absolu, mais également sa dispersion /
stabilité
• Apprécier les apports des offres alternatives
proposées par certains providers (fonctions
burst, VMs « privées », configurations
premium, OS, arbitrages CPU / mémoire…)
• Fournir un éclairage additionnel dans une
décision qui doit évidemment inclure d’autres
aspects (disponibilité, fonctionnalités,
performances réseau et stockage…)
Softlayer
Outscale
Paris
OVH
Strasbourg
Google
MonsOVH
Roubaix
AWS
Frankfurt
L’approche de Gekko
www.gekko.fr
P 8
AWS
Azure
Dublin
Azure
Amsterdam
Softlayer
Milano
Ikoula
Reims

9.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
Les configurations étudiées
Objectifs:
• VM publique medium sous Linux: 4 cores ~2.5 Ghz, 6-8 Gb RAM, ~100 Gb disques
• Même range de positionnement dans la gamme de chaque provider
• OS identique: Ubuntu 14.04.1
• Fonctionnalités comparables (NB toutefois permanence de différences d’approche, cf
communications inter-serveurs OVH)
www.gekko.fr
P 9
AWS Azure Google Ikoula Outscale OVH Softlayer
C3 Xlarge A3 « de
base »
Custom
machine
VM Large Custom
machine
SP 60 Custom
machine
4 cores 2.8
Ghz
7.5 Gb RAM
2x40 Gb SSD
4 cores 2.4
Ghz
7 Gb RAM
120 Gb
4 cores 2.5
Ghz
6 Gb RAM
50 Gb SSD
4 cores 2.3
Ghz
7.5 Gb RAM
50 Gb SSD
4 cores 2.2
Ghz
6 Gb RAM
20 Gb local
4 cores 2.4
Ghz
60 Gb RAM
400 Gb HA
block storage
4 cores 2.6
Ghz
6 Gb RAM
25 Gb local
0,239 $/h
soit ~0,22 €/h
(base 1 €= 1.08 $,
janvier 2016 )
0,1721 €/h
0,13 $/h
soit ~0,12 €/h
(base 1 €= 1.08 $,
janvier 2016 )
0,12 €/h 0,18 €/h
(3 cts / cpu et
1 ct par Gb
RAM)
0,194 €/h 0,177 €/h

10.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
Méthodologie: le protocole
1. Comparaison 7 providers
– Objectifs:
1. Etalonner la performance des providers
2. Vérifier la stabilité à travers la mesure de la dispersion
– Exécution de deux jeux de tests:
1. Mesure continue pendant 24 heures
2. Mesure horaire pendant 10 jours (période Noël / soldes)
2. Tests « one to one »
– Objectif: mesurer les apports d’adaptations / fine tuning de configurations pour un provider
– Exemples: AWS avec Amazon linux vs Ubuntu, AWS T2 avec burst vs C3XL, OVH EG15 vs SP60,
Softlayer sur « private public node » vs public node…
Remarques importantes:
– Les tarifs et les offres techniques des fournisseurs de Cloud évoluent constamment et les résultats
obtenus reflètent donc une situation valable à la date de l’étude.
– Cette analyse ne reflète que les performances CPU et mémoire des instances, donc hors stockage
et réseau - lesquels sont des composants déterminants de la performance d’ensemble
– Cette étude analyse la performance d’instances mesurées de manière individuelle. Le
comportement d’un système d’instances (plusieurs instances, utilisation des fonctionnalités
d’autoscaling…) pourra varier – son rapport performance / prix également.
– Ce benchmark est donc indicatif et ne dispense pas d’études particulières.
www.gekko.fr
P 10

11.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
Méthodologie: l’outil
• Utilisation de l’outil Geekbench 3 de la société Primatelabs
(www.primatelabs.com), également utilisé par des sociétés de benchmark US
(CloudSpectator)
• Geekbench 3 exécute 21 tests pour agréger un score final à partir de 3
catégories:
– CPU Integer (algorithmes de chiffrement, de compression / décompression, de
compilation, de calcul..)
– CPU floating point (calculs de séries ou de matrices, imagerie..)
– Mémoire (écriture, allocation, copie, opération)
• Neutralité vs performance disques
• Gekko a effectué des tests de validation avec des tests d’une autre suite
d’outils de benchmark (Phoronix, www.phoronix-test-suite.com)
www.gekko.fr
P 11

12.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
Synthèse générale
www.gekko.fr
P 12
Moyenne CSP
6895
0
2
000
4
000
6
000
8
000
10
000
12
000
AWS
C3XL
AWS
T2
Large
AWS
C4XL
Azure
A3
basic
Azure
A3
standard
Google
custom
Ikoula
M1L
Outscale
custom
OVH
SP60
OVH
EG15
SoMlayer
custom
public
SoMlayer
custom
private
Co.var +/- 3%
Amp. ~20%
Co.var +/- 5%
Amp. ~45%
Co.var +/- 2.5%
Amp. ~15%
Co.var +/- 3%
Amp. ~30%
Co.var +/- 45%
Amp. ~95%
Co.var +/- 1.5%
Amp. ~15%

13.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
Azure A3 basic
Azure A3
standard
AWS T2 Large
Ikoula M1L
AWS C3XL
Google custom
Outscale custom
AWS C4XL
Softlayer custom
public
OVH SP60
OVH EG15
0,20
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
0,20 0,40 0,60 0,80 1,00 1,20 1,40 1,60 1,80
Performance
/
prix
mensuel
Synthèse: budget / performance
www.gekko.fr
P 13
Moins puissant que la moyenne Plus puissant que la moyenneMoins puissant que la moyenne Plus puissant que la moyenne
PluscherquelamoyenneMoinscherquelamoyenne
PluscherquelamoyenneMoinscherquelamoyenne
Représentation de la performance relative (abscisse) et du prix relatif (ordonnée) de chaque provider par rapport à la moyenne des providers
Azure A3 basic
Azure A3
standard
AWS T2 Large
Ikoula M1L
AWS C3XL
Google custom
Outscale custom
AWS C4XL
Softlayer custom
private
Softlayer custom
public
OVH SP60
OVH EG15
0,20
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
0,20 0,40 0,60 0,80 1,00 1,20 1,40 1,60 1,80
Performance
/
prix
horaire

14.
Reproduction & utilisation interdites
sans autorisation préalable de Gekko
Janvier 2016
Conclusions
• Des écarts de performance suffisamment importants pour influer sur la quantité et
donc le prix
• Nécessité de prise en compte aux côtés des critères traditionnels (services,
fonctionnalités, environnements PaaS/SaaS associés, empreinte internationale,
stratégie fournisseur…)
• Des alternatives structurantes à iso-fournisseur (type d’instance, OS, privé /
public…), impactantes sur le prix
• Forte volatilité du marché, renouvellement permanent des conditions
• Consolidation d’une offre de qualité sur le marché français, compatible avec des
projets d’envergure internationale
Pour obtenir l’étude complète, envoyez un mail à contact@gekko.fr
www.gekko.fr
P 14
Positionnement cloud broker des DSIs
Intérêt du sourcing agile
Apport des approches DevOps