Kit d’auto-évaluation
des algorithmes
Morgane Liger
Isis Trupheme
Eloîse Ravet

SOMMAIRE
AVANT-PROPOS
. L’objectif du projet
Phase d’analyse
. brainstorming
. 2 scEnarios usagers
. repenser le questionnaire
les projets
. une réponse sous forme
d’interface numérique
. silhouette, la matÉrialisation
des risques de l’algorithme
conclusion

L’objectif du projet
L’ OBJECTIF DU TOOLKIT
Destiné aux porteurs de projet, le kit d’auto-
évaluation examine la façon dont est utilisé un
algorithme dans le cadre d’un projet.
Cette évaluation ne cherche pas à déterminer
d’éventuels problèmes techniques liés au
fonctionnement de l’algorithme.
Il permet de juger si l’utilisation de l’algorithme
se fait de manière éthique et responsable.
L’OBJECTIF DU WORKSHOP
Le but du workshop est de réfléchir sur les formes
des toolkits existants et le moyen de les rendre
accessible aux acteurs susceptibles d’en avoir
besoin.
LES OUTILS A DISPOSITION
Deux toolkits ont déjà été développés:
- le toolkit Ethics & Algorithms Toolkit (Beta)
développé aux Etats-Unis sous forme de QCM
et de tableaux à double entrée synthétisant les
réponses;
- les questionnaires Google Forms créés par la
FING à l’occasion de workshops précédents.
PROBLéMATIQUE
Comment rendre tangible
les risques éthiques d’un
algorithme?
Comment travailler l’aspect
formel des questionnaires
actuels pour en faire des
outils simples à appréhender?

brainstorming
Le kit
DIAGNOSTIC
Conseil
MEdias
NUMERIQUE
papier
forme
Outil de presentation
et de rendu
ludique
rapide
simple
detaille et precis
interactif
evolutif
pour qui?
Personne seule
groupe
Start-ups
auto-entrepreneurs
structure d’aide aux
entreprises: pepinieres,
couveuses, ...
Grandes entreprises
ayant des poles de
recherche
etalab
dialogue
partage:
teambuilding, brainstorming

2 SCENARIOS USAGERS
Le kit
DIAGNOSTIC
Conseil
MEdias
NUMERIQUE
papier / objet
Outil de presentation
et de rendu
ludique
rapide
simple
detaille et precis
interactif
evolutif
pour qui?
Personne seule
groupe
Start-ups
auto-entrepreneurs
structure d’aide aux
entreprises: pepinieres,
couveuses, ...
Grandes entreprises
ayant des poles de
recherche
etalab
dialogue
partage:
teambuilding, brainstorming
forme

DIAGNOSTIC
Conseil
Médias
NUMéRIQUE
papier / objet
forme
Outil de présentation
et de rendu
ludique
rapide
simple
détaille et précis
interactif
évolutif
pour qui?
Personne seule
groupe
Start-ups
auto-entrepreneurs
Structure d’aide aux
entreprises: pépinières,
couveuses, ...
Grandes entreprises
ayant des pôles de
recherche
etalab
dialogue
Partage:
teambuilding, brainstorming
2 SCENARIOS USAGERS
Le kit

Repenser le questionnaire

L’interface
Version NUMÉRIQUE

L’interface numérique est destinée
à un utilisateur seul derrière son
écran. Il pourra alors tester son
algorithme et des conseils lui
seront proposés.
l’interfaceseraitévolutive,l’image
change au fur et à mesure que
l’utilisateur répond aux questions,
lui permettant d’avoir une vision
en temps réel du test. il serait
accessible en ligne pour permettre
a tous d’ ÉVALUER son projet.

Chaque point ci-contre est une
question à laquelle l’usager
va répondre.

Lorsque l’utilisateur répond aux
questions, les couleurs s’appliquent en
fonction de la qualité des réponses.
La taille des ronds est différente selon
l’importance de la question.
L’utilisateur pourrait paramétrer ses
préférences en fonction de ce qu’il
souhaite mettre en avant dans son
algorithme.
BON
MOYEN
MAUVAIS

Une fois le questionnaire
terminé, on peut revenir sur le
visuel obtenu pour revoir les
questions et les réponses que
l’on a formulées.

Les questions se
regroupent alors en 3
pôles.

Un nouveau calcul est fait
en fonction des croisements
des réponses. L’utilisateur
peut alors voir et savoir
dans quel pôle l’algorithme
est satisfaisant et dans quel
pôle il est faible.

Une fois les 3 pôles créés,
ils peuvent à nouveau
être divisés en sous-
pôles.

Communiquez-vous sur le fonctionnement de l’algorithme ?
Un peu, mais seulement
quelques informations sur
les calculs et les données de
l’algorithme
CONSEIL :
Vous pourriez dans un
premier temps simplement
apporter à vos usagers plus
d’informations. Pour aller
plus loin, vous pourriez les
informer de manière plus
personnelle, en les rensei-
gnant sur les données qui
les concernent directement.
Dans les sous pôles,
on peut retrouver les
questions auxquelles
l’usager a répondu. Il
peut aussi y trouver
ses réponses ainsi
que des conseils pour
améliorer l’algorithme.

12 3 4 5
6 7 8 91 0
11 12 13 14 15
Ceci est un cas concret
appliqué à l’algorithme
de la taxe d’habitation.
Nous avons basé ces
15 questions sur le
nouveau questionnaire.

SILHOUETTE
Version objet / papier

La version objet est donc destinée
au travail de groupe, comme support
à la parole à l’échange. Le but est
alors de construire une silhouette
de l’algorithme qui, grâce à un jeu
d’épaisseur,donnerauneidéedestabilité,
d’équilibre à l’ensemble.

1- Omar Sosa
2 - Snego
1 2

Quatre cylindres à empiler,
déclinés de différentes couleurs
en fonction des pôles du test.
Comme les briques d’un jeu de
construction, l’intérêt est de venir
poser son élément au fur est à
mesure pour élever la structure.
Leur taille permet d’obtenir une
construction d’environ 30 à 40 cm.
L’empilement peut donc se faire à
plusieurs. La hauteur et la stabilité
de l’édifice permet d’évaluer les
risques liés à l’algorithme.

Données
Usagers
Algorithme
1 couleur par pôle
Satisfaisant
Très satisfaisant
Peu satisfaisant
Pas satisfaisant
1 taille par appréciation
La taille de la pièce illustre la réponse à la
question et sa hauteur montre l’importance du
risque.

Silhouette algorithmique de la taxe d’habitation
L’échantillon de données est il représentatif des
personnes calculées ?
Oui, il considère la population dans son ensemble
sans distinction de sous groupes.
Avez vous des engagements de réponse envers
l’usager ?
Oui, nous avons obligation de réponse dans un
délai défini.
L’algorithme est- il entièrement automatique ?
Oui, il analyse les données, effectue les calculs
et prend des décisions finales sans intervention
de l’homme.

Première construction : mise en
valeur des poids de fragilités et
donc des questions à revoir.
Deuxième construction :
transition des pièces vers le très
satisfaisant, .
Étape finale : La structure prend
de la hauteur et de la stabilité
visuelle.
Une construction représente
une étape dans l’évolution de
l’algorithme. L’intérêt est alors
de pouvoir garder trace de cette
évolution, pouvoir comparer
chaque étape.
On pourrait alors prendre en
photo chaque étape du projet
et les comparer, les imprimer sur
grand poster pour en garder la
trace. Une application parallèle
pourrait par exemple être
installée. Elle permettrait de
comparer mais également de
donner des conseils par exemple.

CONCLUSION
Plusieurspointsrestentcependant
en suspens :
. Approfondir le nouveau
questionnaire qui est au stade
d’ Ébauche, notamment lorsque
les réponses nécessitent d’être
recroisées pour obtenir le risque
correspondant
. Réfléchir a un suivi
(une appli?) Pour le jeu de
construction qui apporterait
la phase d’accompagnement et
de conseil. Il pourrait se faire
par l’analyse des silhouettes
construites (reconnaissance
de formes sur le principe du qr
code? )
. Prévoir un moyen de
sauvegarder les schémas
numériques et les constructions
du jeu. Ces sauvegardes pourront
être comparées a de futurs tests.