Atelier sur les prédictions et les estimations donné lors de l'Agile Tour Toulouse 2015

1. L’art d’avoir tort
CHRISTOPHE HERAL @CHRISHERAL – 26/11/2015
AGILE TOUR TOULOUSE

2. Qui suis-je ?
Consultant .NET à Bordeaux
Agiliste
Et surtout :
Artisan logiciel
Cabinet de conseil spécialisé dans la
transformation digitale des entreprises.
Initialement à Bordeaux
Développement en cours sur Toulouse et Paris

3. Sur une idée originale de Laurent Bossavit
@MORENDIL

4. Qui fait des estimations ?

5. Qui réussit ses estimations ?

6. Je déteste avoir tort…

7. …donc
je déteste les estimations

8. Des chiffres erronés sont le
support de décisions
importantes…

9. Suis-je incompétent?
Mon équipe est-elle incompétente ?
Mes managers sont-ils incompétents ?

10. Etude de Philip Tetlock
The Good Judgment Project
Années 80 : 284 experts de divers domaines font des
pronostics sur des évènements à venir
En 2005 : résultat des prévisions
Les prévisions des experts ne sont pas meilleures qu’un
modèle statistique…
Les experts donnent de meilleures prédictions dans un
domaine qui n’est pas le leur…

11. Essayons d’estimer

12. Exercice de calibration
QUESTIONS DE CULTURE GÉNÉRALE

13. Enoncé
10 questions portant sur des valeurs numériques
Répondre à chaque question en indiquant une fourchette
(limite basse – limite haute).
Il faut être certain à 90% environ que la bonne réponse se
situe dans l’intervalle.

14. Exemple
Combien de naissances y a-t-il eu en France en 2014 ?
Ma réponse : Entre 500 000 et 1 million
La vraie réponse : 781 000 -> J’ai bon !
Maintenant c’est à vous !

15. Exercice de calibration
EN GROUPE

16. Les réponses !

17. Sommes-nous bien
calibrés ?
QUI A OBTENU 9/10 ? 10/10 OU 8/10 ?

18. Les estimations en groupe
sont-elles meilleures ?
ET LA MOYENNE ? ET LA MÉDIANE ?

19. Exercice de certitude

20. Enoncé
10 phrases
Pour chaque phrase, indiquer son niveau de confiance.
100%: je suis certain que c'est vrai
0% : je suis certain que c'est faux
(réponse par tranche de 10%)
-> Pénalité en fonction du % et de la réponse

21. Exemple
Phrase : Sydney est la capitale de l’Australie.
Mon indice de confiance : 10%
La réponse : Faux (Canberra) -> 2 points
Maintenant c’est à vous !

22. Les réponses !

23. Calcul du score de Brier
PLUS LE SCORE EST ÉLEVÉ, PLUS IL EST MAUVAIS…

24. Table de calcul
SI LA PROPOSITION ÉTAIT VRAIE
Certitude Score
0% 200
10% 162
20% 128
30% 98
40% 72
50% 50
60% 32
70% 18
80% 8
90% 2
100% 0
SI LA PROPOSITION ÉTAIT FAUSSE
Certitude Score
100% 200
90% 162
80% 128
70% 98
60% 72
50% 50
40% 32
30% 18
20% 8
10% 2
0% 0

25. Quel est votre score ?

26. Solutions ?

27. Arrêter d’estimer ?
UN MODÈLE STATISTIQUE N’EST-IL PAS SUFFISANT ET MOINS
COUTEUX ?

28. Arrêter d’estimer ?
- Se base sur des données réelles et non des estimations
- Nécessite d’avoir collecté des données pour définir le modèle
- Constater le temps de traversée des éléments (de taille équivalentes)
- Olivier Azeau : « ça prendra combien de temps ? »
- Dimitar Bakardzhiev : « #noestimates Project Planning Using Monte Carlo
Simulation »
- Vasco Duarte : « No estimates - 10 new principles for testing »

29. S’entraîner…
DOMPTER LES ESTIMATIONS POUR AVOIR MOINS SOUVENT TORT 

30. S’entraîner…
Marchés prédictifs :
https://hypermind.com/hypermind/app.html
En anglais :
http://www.predictionbook.com
https://www.gjopen.com

31. Merci à vous !
ET À ARTHUR SCHOPENHAUER ET SES STRATAGÈMES…