1. Qualité d’expérience utilisateur
Benchmark de performance des solutions de messagerie
Microsoft Office 365, IBM LotusLive et Google Apps
Webinar du 06 Octobre 2011
Alexis Blandin, Responsable pôle Cloud et Social Business | Synergie Informatique
Arnaud Bécart, Ingénieur Avant-vente et chef de produit datametrie | ip-label
David WAIS, responsable partenaire | ip-label

2. Agenda
 Présentation Synergie & Ip-label
 Présentation du panorama des offres collaboratives dans le
Cloud
 Benchmark ip-label avec datamétrie des solutions
collaboratives Microsoft Office 365, IBM LotusLive et Google
Apps
 Présentation des offres d’accompagnement Synergie & ip-
label à l’occasion des migrations et en service régulier,
 Q/R

3. Qualité d’expérience utilisateur
Présentation de Synergie Informatique et ip-label

4. Synergie Informatique
 SSII , Centre et Paris-IDF
 Spécialiste du Social Business
 Experte dans l’intégration de
solutions de messagerie et de
collaboration
 Partenaire IBM, Microsoft,
Google

5. ip-label.newtest en
bref
ip-label.newtest en chiffres :
• des filiales en Europe…
• 15 ans d’expérience en Espagne & aux Pays-Bas
• 1500 clients …en Asie : Hong Kong & Chine
• 10 M€ de CA
• 75 personnes • un réseau de partenaires…
• 15 ingénieurs R&D en Europe de l’Ouest, de l’Est, en
Scandinavie, aux Etats-Unis
Quelques clients
Confidentiel - Altran BLE 19-02-10

6. Qualité d’expérience utilisateur
Benchmark de performance des solutions de messagerie
Microsoft Office 365, IBM LotusLive et Google Apps

7. L’avènement du Cloud
“ Cloud Computing Market Will Top $241 Billion in 2020 ” – Forrester Research
“10% of Enterprise Email Will Be Based on a Cloud/SaaS Model in 2014” – Gartner
 Innovation = Grand public vs. Entreprise
 Réseau sociaux, nouvelle génération
 Mobilité, hyper-connectés, convergence
 Accroissement des données
 SaaS, le Cloud à maturité

8. Le collaboratif en ligne de mire
Scénarios d’utilisations Avantages attendus par la DSI
Cloud plébiscités  Délégation des commodités
 Industrialisation
1. Prototypage  Déploiement rapide
2. Développements, tests  Economie d’échelle, ROI
 Self-service, élasticité / PAYG
3. Messagerie  Innovation (« beta » permanente)
4. Collaboration  Standardisation, intégration
 Ouverture
5. Applications Web  Nouveaux enjeux (mobilité, données)
6. Backup, archivage

9. L’évolution de la DSI
 Garanties, disponibilité (SLA)
 Garantir et faire évoluer la « Qualité »
 Sécurité, externalisation, réversibilité
 Relation commerciale (B2B)
 Gestion des contrats, du juridique (Patriot Act, CNIL)
 Passage d’un mode CAPEX à OPEX (abonnement)
 Contraintes opérationnelles, organisationnelles

10. Besoins adaptés
 Gouvernance, Best Practices « Cloud »
 Organigramme et processus adaptés
 Moins de « tuyauterie », plus « d’exploitation » (support, métiers,
infrastructures)
 Dépendance au réseau/service Outils de
 Expérience utilisateur métrologie

11. Focus Editeur / Suite Collaborative
Image, 1911 1975 1998
Identité, Services / Softwares Windows / Office Recherche / Publicité
Stratégie Social Business Virage Cloud à 360° Pure Player
Produit LotusLive Office 365 Google Apps For Business
Acquisition par
Oui Progressif (ajout d’options) Non
modules
€/U/Y
34 à 113 € 43 à 306 € 40 €
(prix publics)
• Réseau et Collaboration
• Intégration de la suite Office • Expérience Web
Avantages Sociale
• Le « Framework » SharePoint • Ecosystème Google
• Ouverture à l’externe
• Certaines fonctionnalités
• L’Out-of-the-Box SharePoint • Pas de web conférence
manquantes (suite
Faiblesses (ergonomie, fonctionnalités) • Intégration sociale et outils
bureautique online,
• Document-Centric collaboratifs un peu « light »
blogs/wikis, call audio/vidéo)

12. Focus Messagerie
“ Inbox = Tetris getting zero lines doesn’t win
it just makes the next move easy “
Produit • LotusLive iNotes/Notes • Exchange Online • GMail
• Codes cassant ceux d’une
• Codes classiques • Codes classiques messagerie traditionnelle
Fonctionnel
• Intégration native Lotus Notes • Intégration native Outlook • GMail offline (Google
Chrome)
• Deux types d’offres : basique (web
Technique mail) + avancé (Domino) • Mode hybride • Full Web
• Mode hybride
• Manque de visibilité, peut paraitre
• Leader On-Premise • En position de conquête
calibrée pour les seuls clients
Analyse, • Coming-Out Cloud tardif • Gros efforts réalisés sur
Domino
tendance • Difficile passage de BPOS à certains points (sécurité /
• Vision « Sociale » de la future
Office 365 : quels impacts ? administration)
version de Domino/LotusLive
Espace 25 Go 25 Go 25 Go
SLA,
99,9 % 99,9 % 99,9 %
Crédit suivant
2 à 10% du coût mensuel 25 à 100% du coût mensuel 3 à 15 jours
le % de dispo.

13. Qualité d’expérience utilisateur
Benchmark datametrie sur la disponibilité et les temps
d’accès aux services de messageries en ligne

14. Méthodologie
Solution Datametrie
- Pilotage de toute application Web, Web Riche ou
client lourd (Office 365, Outlook, …) piloté comme un
utilisateur : navigation, clic de souris, remplissage de
formulaires, contrôle de texte, reconnaissance ou clic
sur une image, etc.
- Lancement rapide sur l’un des 70 Points de Mesure
dans le monde (5 opérateurs sont testés en France:
Orange, Neuf-SFR, Iliad-Free, Colt, Cogent)
- Une solution en mode SaaS, « clé en main », du
paramétrage des tests au maintien opérationnel des
robots et des serveurs
- Accès aux mesures depuis un extranet, envoi de
rapports par mail et alertes sur incidents
- Accès au support pour toute demande de
paramétrage, formation ou expertise
- Outils d’enregistrement de scénarios à disposition
des clients souhaitant être autonomes
l 14

15. Architecture de la solution
l 15

16. Description des Tests
 3 plateformes testées
 3 types de tests
– Accès au portail depuis 5 Points en France
• https://portal.microsoftonline.com
• https://apps.lotuslive.com
• https://www.google.com/a/synergie-informatique.fr/
• Origine des tests : France Telecom, Neuf-SFR, Iliad-Free, Colt, Cogent
• Fréquence des tests : 15 minutes
• Période d’analyse : 21/07/11 au 30/09/11 (71 jours)
– Scénario ENVOI depuis 1 Point en France
• Envoi d’un mail depuis la plateforme Cloud vers une messagerie externe
• Vérification de la délivrance du mail en moins de 60 secondes
• Fréquence des tests : 30 minutes
• Période d’analyse : 1/09/11 au 30/09/11 (30 jours)
– Scénario RECEPTION depuis 1 Point en France
• Envoi d’un mail depuis une messagerie externe vers la plateforme Cloud
• Vérification de la réception du mail en moins de 60 secondes
• Fréquence des tests : 30 minutes
• Période d’analyse : 1/09/11 au 30/09/11 (30 jours)
l 16

17. Description des Tests
 Scénario ENVOI
– Connexion au portail d’accès
– Authentification
– Accès messagerie
– Saisie en ligne d’un nouveau message à destination d’une adresse de destination mailXX@ip-label.net
– Envoi du message et attente de réception du message sur le serveur POP d’ip-label (mail.ip-label.com) –
attente max 60 secondes
 Scénario RECEPTION
– Connexion au portail d’accès
– Authentification
– Accès messagerie
– Envoi d’un mail via SMTP depuis un serveur ip-label (mail.ip-label.com)
– Attente de réception de ce mail sur la plateforme testée – attente max 60 secondes
Chaque mail envoyé est automatiquement supprimé après chaque test
Chaque portail utilise un compte de messagerie externe distinct
l 17

18. Description des Tests
 Quand le portail d’accès est considéré comme indisponible ?
– Non chargement complet du portail en moins de 60 secondes
– Détection d’incidents réseau (erreur de résolution DNS, connexion échouée) et
serveurs (lenteur de chargement)
 Quand scénario est considéré comme indisponible ?
– Non chargement complet d’une page en moins de 30 secondes (lié à des incidents
réseau ou serveur)
– Mots clés non trouvés
• Username pour valider le chargement du portail d’accès
• Champs Username/Password, bouton connexion puis présence d’un bouton ‘Nouveau
mail’ pour valider l’étape authentification
• ENVOI : boutons nouveau mail et envoyer
• RECEPTION : bouton rafraîchir pour vérifier la bonne réception du mail
– Non transmission du mail (SMTP externe  Messagerie en ligne ou Messagerie en
ligne  SMTP) en moins de 60 secondes
l 18

19. Portails d’accès
Disponibilité et Temps d’accès moyens à chaque portail
Résultats sur la période du 21/07/11 au 30/09/11 – Environ 34000 tests par portail
1,541 secondes 1,097 secondes 3,552 secondes
99.980 % 99.977 % 99.968 %
google apps
Résolution DNS
lotus live Temps de connexion
Temps de réponse du serveur
Office 365 Chargement du contenu
0 500 1000 1500 2000 2500 3000 3500 4000
– Google offre le meilleur temps de chargement du portail
– LotusLive est relativement rapide (1,5 secondes) mais est la page la plus longue à commencer le début
d’affichage (600ms), avec une résolution DNS, un temps de connexion et un temps serveur plus longs
– Office 365 est la page la plus longue à se charger; c’est aussi la page la plus lourde (1 Mo, contre 17 ko pour
google et 32 ko pour LotusLive)
– LotusLive présente la meilleure disponibilité, avec 7 échecs, suivi de près par Google (8 échecs) et Office 365
(11 échecs)
l 19

20. Portails d’accès
Performance d’accès au portail Evolution sur 3 mois Disponibilité d’accès au portail
4000 100
100
99,99
99,98
99,98
99,98
99,98
99,98
3500 3750 99,95
99,96
3474 3432
3000
99,9
2500
1982 Office 365
2000 99,85
1357 lotus live
1500 1286
99,83
google apps
99,8
1000
1119 1113 1061
500 99,75
0
Juillet Aout Septembre 99,7
Juillet Aout Septembre
Observations
- Augmentation du temps de réponse réseau & serveur pour le
portail LotusLive depuis le 31/08/11 (pour un contenu
identique)
- Principales erreurs rencontrées
- Google : 5 erreurs de résolution DNS et 3 timeout
- Lotus Live : 4 connexions interrompues et 2 serveurs injoignables
- Office 365 : 4 erreurs de résolution DNS, 5 serveurs injoignables et 2 timeout
- Une maintenance sur le portail Office 365 a eu lieu le 9/9/11 de
5h à 8h15; elle n’a pas été prise en compte dans les calculs
l 20

21. Authentification
Disponibilité et temps d’authentification et d’accès à la messagerie en ligne
Résultats sur la période du 01/09/11 au 30/09/11 – Environ 2800 tests par portail
Performance Authentification et Accès
99,76 Messagerie
Disponibilité
99,86
24h/24
99,17
11438
Disponibilité 99,89 Office 365
Heures Ouvrées 99,89 google apps
8h-23h 99,56 15238
lotus Live
Disponibilité 99,54
19054
HNO 99,81
23h-8h 98,52
0 5000 10000 15000 20000
97,50 98,00 98,50 99,00 99,50 100,00
– Google est la plateforme la plus robuste à l’authentification (99.86% en 24/24)
– Office 365 a une disponibilité de 99.76% en 24/24 sur l’authentification (notamment liée à quelques timeout ou
erreurs DNS); ces incidents ont lieu principalement la nuit et de 8h à 23h la disponibilité est équivalente à celle
de Google
– LotusLive présente le plus d’erreurs lors de l’authentification (99.17%); même si la plupart des échecs ont lieu la
nuit (99.56% disponible entre 8h et 23h), un incident survenu le 18 septembre entre 8h et 10h pénalise sa
position sur cet indicateur
– Google est la plateforme la plus rapide pour s’authentifier et accéder au service de messagerie : 11,5 secondes,
Lotus Live nécessite 15 secondes (en un seul chargement de page contrairement aux autres)
– Office 365 est la plateforme la plus lente pour accéder à Outlook en ligne : 19 secondes
l 21

22. Authentification
Incident d’authentification pour LotusLive le 18/09
Timeout : page incomplète suite au
login (88k sur 212ko attendus)
Page d’erreur suite au login
l 22

23. Authentification
Exemples d’erreurs d’authentification liés à des timeout
Timeout sur l’authentification Office 365
Timeout sur l’authentification Google Apps
l 23

24. Authentification
Exemples d’erreurs d’authentification liés au mauvais chargement du portail sur Google
Apps
Erreur du serveur (HTTP 500) sur l’objet Dashboard qui devrait rediriger sur le portail
Erreur
Cas normal
Impact utilisateur : le champ login absent de la page et l’utilisateur ne peut pas s’authentifier
l 24

25. Envoi/Réception de mail
Performance
Temps moyen d’envoi et de réception d’un mail
12271
Temps de réception 23213
18895
google apps
lotus live
7558
Office 365
Temps d'envoi 10049
15095
0 5000 10000 15000 20000 25000
– En moyenne, l’envoi d’un mail depuis une plateforme Cloud est plus rapide que la réception
d’un mail depuis une plateforme externe
– Google est la plateforme qui transmet les mails le plus rapidement, à la fois en émission vers un
compte externe (12,2 secondes en moyenne) et en réception depuis un compte externe (7.5
secondes)
– Office 365 est plus rapide que LotusLive pour la réception de mail, mais plus lente que
LotusLive pour l’envoi de mail
l 25

26. Envoi/Réception de mail
Stabilité
Disponibilité moyenne d’envoi et de réception d’un mail
86,17
Disponibilité de réception (<60s) 99,18
71,66
google apps
lotus live
85,17
Office 365
Disponibilité d'envoi (<60s) 97,62
74,81
0 10 20 30 40 50 60 70 80 90 100
– LotusLive est la plateforme d’envoi de mail la plus disponible, si l’on considère comme
indisponible une durée supérieure 60 secondes pour transmettre un mail CloudExterne ou
ExterneCloud
– Office 365 (~75%) et Google Apps (~85%) : cela signifie que malgré des temps d’émission ou
réception rapides (<15 secondes), des congestions ralentissent régulièrement la délivrance
ou la réception des mails
• Les durées d’envoi et de réception sont donc plus instables pour Google et Office 365
l 26

27. 2 1 3
 Google Apps Gmail peut-être considéré comme une référence pour la Scores
Google Office
vitesse d’accès aux fonctions de messagerie ainsi que la garantie Apps Lotus Live 365
d’émission et de réception de mails dans des délais rapides Performance Portail 3 2 1
Disponibilité Portail 2 3 1
 IBM LotusLive est une plateforme stable concernant l’émission et la Performance Authentification
et accès à la messagerie 3 2 1
réception des mails, mais peut générer des insatisfactions utilisateurs Disponibilité Authentification
avec des indisponibilités d’accès au service et un temps d’accès dans la en Heures Ouvrées 3 1 3
moyenne (15 sec) Temps de réception 3 1 2
Temps d'envoi 3 2 1
Instabilité de réception 2 3 1
 Microsoft Office 365 dispose d’une bonne disponibilité d’accès aux
Instabilité d'envoi 2 3 1
services de messagerie (99.89% en heures ouvrées) mais a des
Total 21 17 11
améliorations à faire sur les temps de chargement des pages (en
particulier sur l’authentification & accès à Outlook) et de l’acheminement
des mails : dans nos tests, 25 mails sur 100 ne sont pas envoyés ou reçus
en moins d’une minute
l 27

28. Conclusions
Détails des résultats
 Gmail Google
– Meilleure performance d’accès au portail
– Meilleures performance et disponibilité d’authentification
– Meilleurs temps d’envoi vers une messagerie externe et de réception depuis une messagerie externe
– Instabilité relative des durées de transmission
• 15 mails sur 100 sont envoyés en plus de 60 secondes
• 14 mails sur 100 sont reçus en plus de 60 secondes
 IBM LotusLive
– Augmentation à surveiller du temps de chargement du portail depuis début septembre
– Meilleure disponibilité d’accès au portail
– Meilleure stabilité de transmission
• 1 mails sur 100 sont envoyés en plus de 60 secondes
• 3 mails sur 100 sont reçus en plus de 60 secondes
– Mauvaise performance et disponibilité d’authentification
 Microsoft Office 365
– Très bonne disponibilité d’authentification en heures ouvrées
– Performance d’accès au portail et au service de messagerie à améliorer (19 secondes)
– Stabilité des durées de transmission des mails à améliorer
• 25 mails sur 100 sont envoyés en plus de 60 secondes
• 28 mails sur 100 sont reçus en plus de 60 secondes
l 28

29. Conclusions
Chaque acteur s’engage à 99.9% de disponibilité…
– « Microsoft fournit une garantie de fonctionnement de 99,9 % avec accord de niveau de service
financier »
• http://www.microsoft.com/fr-fr/office365/what-is-office365.aspx
– « LotusLive Notes delivers the capabilities your business users need to increase efficiency while
reducing IT complexity and associated bottom line costs - all backed by a dedicated IBM team with
24x7 support and a 99.9% up-time service level objective »
• https://www.lotuslive.com/styles/tours/transcripts/LLNotes_datasheet.pdf
– « Google Apps offre une garantie de disponibilité des services à 99,9 % et fournit la réplication
synchrone »
• http://www.google.com/apps/intl/fr/business/messaging.html
Pour rappel, sur Septembre 2011…
Selon vous, quelle est la qualité réellement perçue
par vos utilisateurs de messagerie en ligne ?
l 29

30. Qualité d’expérience utilisateur
Les offres d’accompagnement de Synergie & ip-label dans la
migration et les suivi des suites collaboratives Saas

31. L’offre de services Synergie Informatique
Framework Cloud & Social Business

32. L’offre d’accompagnement
Synergie & ip-label lors de la migration
 Prestation d’accompagnement lors de la migration :
objectifs :
- Mesurer depuis le réseau de l’entreprise les impacts éventuels de la migration en terme de
disponibilité et de performance pour les utilisateurs,
- Partager avec les acteurs du projet une vision neutre et indépendante de la performance des
applications
moyens :
- mise en place d’une ou plusieurs sondes datametrie dans le réseau de l’entreprise
- l’accompagnement d’un consultant de Synergie pendant toute la migration
Livrables :
- prestation d’accompagnement régulier lors de la migration et analyse des anomalies et des écarts
de performance et de disponibilité.
Bénéfices :
- une collecte immédiate des anomalies constatées à l’occasion de la migration
- une vision objective de la qualité de service des prestations à l’occasion de la migration.

33. L’offre d’accompagnement
Synergie & ip-label en service régulier
 Prestation de suivi de la performance en service régulier :
objectifs :
- Mesurer depuis des points de mesure représentatifs la performance des services,
- Surveillez en temps réel depuis des points de mesure utilisateurs la performance et la disponibilité de
l’application
- Disposer d’indicateurs indépendants du suivi des SLA
moyens :
- mise en place de scénarios représentatifs depuis une ou plusieurs sondes réparties depuis le réseau de
l’entreprise et/ou depuis des points de mesure Internet locaux.
- l’accompagnement d’un consultant de Synergie dans le suivi et l’analyse des indicateurs
Livrables :
- prestation d’accompagnement régulier lors de la migration et analyse des anomalies et des écarts de
performance et de disponibilité.
- Alerting en cas d’incidents
- Suivi et consolidation des SLA.
Bénéfices :
- une collecte immédiate des anomalies constatées à l’occasion de la migration
- une vision objective de la qualité de service des prestations à l’occasion de la migration.

34. Q/R lors du webinar
 Les mails étaient-ils envoyés avec pièce jointe ?
– Non , uniquement du contenu texte ; l’ajout de pièces jointes de différentes taille pourrait
être défini sur ce type de tests
 Quel navigateur a été utilisé dans les tests ?
– Internet Explorer 8
 Les tests peuvent-il se faire sur clients lourds (Lotus Notes, outlook) ?
– Oui, les robots Datametrie d’ip-label permettent de simuler des utilisateurs utilisant tout
type de client lourd sur un poste utilisateur windows (ouverture outlook, vérification
connexion à exchange, envoi d’un mail, etc.)
 Ce benchmark peut-il être étendu au partage de documents ?
– Les outils de partage de documents peuvent également être testés par les robots ip-label;
l’’extension du benchmark pourra éventuellement prendre cet élément en compte
 Qu’en est-il des autres navigateurs, notamment si Microsoft exchange fonctionne en mode
dégradé au niveau fonctionnel ?
– Les robots Datametrie d’ip-label permettent de tester des navigateurs Internet Explorer ou
Firefox; la vision multi-navigateurs peut être donnée à travers d’autres solutions comme
Cloud Observer, offre de monitoring passif d’ip-label
 Peut-on auditer des flux voix/vidéo ?
– Ip-label permet de mesurer des flux voix ou vidéo à travers différentes solutions de
mesure du point de vue utilisateur (streaming, analyse de qualité vocale, analyse de
qualité vidéo, tests de vidéo/audio conférence, etc.)

35. Merci de votre attention
Synergie-informatique.fr
@SynergieInfo
 Orléans 02 38 56 52 51
 Paris 01 55 28 32 21