Support de présentation Soirée du Test Logiciel 2018

1. L’innovation au cœur de notre savoir-faire
Indicateurs Qualité
Cannes
V.Baron - Soirée du test logiciel - Sophia Antipolis
11/10/2018
Fournisseur pour

2. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 2
De l’utilité des indicateurs Qualité
Objectif
Disposer d’un tableau de bord pour avoir une vue sur le périmètre
de test et d’indicateurs utiles pour :
1 - Communiquer (COPIL, Statuts),
2 - Justifier des actions engagées (analyse),
3 - Conforter le choix effectif du processus de validation (efficacité),
4 - Suivre l’évolution de la qualité de service (MEL),
5 - Préciser la stratégie de test automatisé (audience)

3. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 3
De l’utilité des indicateurs Qualité
Plusieurs types d’indicateurs :
1 - Suivre l’évolution de l’activité et de la qualité du service,
2 - Suivre & améliorer la procédure en place,
3 - Automatisation (RSI, Couverture de test),
4 - Orienter la stratégie de test engagée.
Pré-requis
Administration de la base Gforge des demandes d’évolution et des
anomalies afin d’avoir un set de données pertinent et homogène (Système
de requêtes pré-enregistrées)
Outils
Gforge ; Testlink ; Excel et Gstat

4. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 4
Activité & Qualité de service

5. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 5
Activité et Qualité de service
- Activité du service
- MEL évolutive ou de maintenance ?
- La mise en place d’un processus est un gage d’efficacité
quand il est correctement compris et intégré par
l’ensemble des membres d’une équipe

6. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 6
Activité et Qualité de service
- Dev. : Nouvelle fonctions

7. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 7
Aspect Sécurité
Faire le suivi des anomalies qui posent un problème de sécurité

8. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 8
Suivi & amélioration de la procédure
de test en place

9. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 9
Améliorer la procédure en place
- On s’assure que les plates-formes de validation
sont livrées à l’heure dite
- Mode de fonctionnement en intégration continue
avec des rdv planifiés (RC1  RC4)
Pprod.:
- Expérience des livraisons en Qualif.
- Relecture du plan de MEL

10. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 10
Améliorer la procédure en place
Au + tôt une anomalie est trouvée
moins elle coûte
- On souhaite que les équipes de Dev. livrent
le code de façon synchronisé afin que les
régressions fonctionnelles soient
identifiées au plus tôt pour un coût réduit
dans le cycle de développement /validation
Livraison en fin de cycle :
- Augmenter le risque de régression
- Hypothèque la MEL suivante

11. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 11
Améliorer la procédure en place

12. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 12
Métriques dédiées à l’automatisation

13. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 13
Couverture de tests automatisés par module fonctionnel
Pré-requis : Adaptation Testlink (plan de test) avec
des champs personnalisés :
Automatisable (Oui/Non)
Automatisé (Oui/Non)
Outil d’automatisation (Jmeter, Sélénium)
Identifier les trous de couverture

14. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 14
RSI de l’automatisation
Appliqué à toutes les campagnes automatisés (Jmeter & Sélénium) ; Pour chaque campagne ;
On compare le nombre de contrôles effectués automatiquement par campagne au nombre de
contrôles moyen passés manuellement /jour /personne.
Automatisation
RSI Qualif.
(j/hô)
RSI Pprod
(j/hô)
RSI Prod.
(j/hô)
RSI Total
(J/hô) par MEL
Tests vitaux LR Web Jmeter 1473 465 250 2188
Tests NR LAP Jmeter 8 3 3 14
Tests de NR Sélénium 62 21 21 104
Tests NR Safari MAC Sélénium 3 1 1 5
Tests NR mobile Android
Tablette Sélénium
8 2 2 12
Tests NR mobile OW OML 15 N/A 5 20
Tests NR SDS/SOD 375 115 N/A 490
SOMME 1944 607 390 2833

15. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 15
RSI de l’automatisation
1 - On pointe les campagnes « rentables » en terme d’automatisation,
2 - On justifie l’automatisation car on montre qu’il nous faudrait pour
qualifier une MEL~ 150 personnes si les tests étaient passés en manuels
; L’équipe actuelle est composée de 3 ressources
3 - Si on avait pas de tests automatisés ; on ferait moins de tests

16. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 16
Orienter la stratégie de test engagée.

17. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 17
Orienter la stratégie de test engagée.
Gstat - Suivi de l’évolution de l’audience pour les terminaux, navigateurs & OS dans le périmètre de
certaines LRs (Orange, LeMoteur et Epresse)

18. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 18
Autres métriques
1 - Evolution de la charge (j/hô) sur les équipes de Dev. par
MEL planifiée et Hors MEL par mois
2 - Moyenne des issues livrées par mois (périodes creuses et
de fortes activités)

19. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 19
Autres métriques
3 - Sur l’origine des anomalies
Pb dans l’EB,
Pb dans la REB,
Pb de type unitaire dans le code,
Pb dans le code,
Pb de configuration et d’exploitation,
Pb dans un composant externe,
Pb de sécurité

20. L’innovation au cœur de notre savoir-faire
© Sogeti High Tech 20
Autres métriques
4 - Sur les anomalies
- Evolution du ratio entre anomalies ouvertes en Prod. &
Correctifs de Prod. livrés
- Distribution des correctifs d’anomalies par environnement

21. © Sogeti High Tech
Remerciements