Why algorithmic transparency is important in the wake of new regulations aimed at curbing the increasing number of decisions made by algorithms that are unappealable.

1. Transparencia Algorítmica
La importancia de explicar las decisiones del ML
Jesús Ramos
TW: @xuxoramos
FB: /xuxoramos
Email: jesus@datank.ai

2. FACT:
Los algoritmos discriminan*.
*Discriminar
Del lat. discrimināre. tr. Seleccionar excluyendo.
2

3. @xuxoramos
Algoritmo para
asignar fianzas y
predecir reincidencia
3

4. @xuxoramos
Algoritmo para
asignar fianzas y
predecir reincidencia
Sesgado VS
afroamericanos* :/
4
* https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

5. @xuxoramos
Búsqueda de "CEO" en Google Images
5
Mujeres en los resultados = 11/100
Mujeres CEO en EU = 27/100*
* https://www.eurekalert.org/pub_releases/2015-04/uow-wac040915.php

6. @xuxoramos
"Three black
teenagers" VS
"Three white
teenagers"*
6
* https://www.theguardian.com/technology/2016/jun/09/three-black-teenagers-anger-as-google-image-search-shows-police-mugshots

7. @xuxoramos
Causas
1. Falta de contexto
Equipo dejó fuera al subject matter expert.
2. Correlación = Causalidad
Equipo dejó fuera a matemáticos/físicos.
3. Ninguna de las anteriores
Todo se hizo bien, los datos están sesgados de orígen.
7

8. @xuxoramos
Causas
8
1. Falta de contexto
Equipo dejó fuera al subject matter expert.
2. Correlación = Causalidad
Equipo dejó fuera a matemáticos/físicos.
3. Ninguna de las anteriores
Todo se hizo bien, los datos están sesgados de orígen.

9. "A big step towards countering
discriminatory algorithms is the ability
to understand them..."
- Ethan Chiel, writer @ Fusion
9

10. Abril 2016: Unión Europea*
10
* https://arxiv.org/pdf/1606.08813.pdf

11. No te aceptaron en la París IV?
No te dieron tu crédito
hipotecario?
Te recomendaron un
tratamiento médico?
Fuiste seleccionado para
programas de gobierno en un
tier X?
No fuiste aceptado en el
Eurovision?
Qué significa esto para la
sociedad?
Tienes derecho a
saber por qué!
Tienes derecho a
una explicación!
11

12. @xuxoramos
Qué significa esto para DS y ML?
12
Antes:
Buena Predicción > Interpretabilidad
Ahora:
Interpretabilidad >> Buena Predicción

13. @xuxoramos
Qué significa esto para el ML supervisado?
13
1. Privilegiar simplicidad.
2. Dedicar tiempo al Feature Selection.
3. Para tener modelos con menos variables.
4. Y poder entrenar varios en un tiempo menor.
5. Y así evitar la maldición de la dimensionalidad.
6. Y finalmente reducir el overfitting.

14. @xuxoramos
Qué significa esto para el ML no supervisado?
14
1. Privilegiar la reproducibilidad*
2. Elegir algoritmos parametrizables (DBSCAN >
K-means).
3. Establecer procesos formales de diseño de
experimentos.
* https://www.forbes.com/sites/quora/2017/02/09/how-the-reproducibility-crisis-in-academia-is-affecting-scientific-research/#1aa4d3853dad

15. @xuxoramos
Qué significa esto para la Ingeniería de Datos?
15
1. Incorporar Github al proceso de DS.
2. Levantar infras para entrenamientos en
paralelo.
3. Levantar pipelines de reentrenamiento.
4. "Solo los salvajes sobreescriben datos".
5. Envolver la DS en Ingeniería de Software.

16. Y qué significa para
el Deep Learning?
16

17. Se la pela durísimo :D
17

18. No es cierto...todavía.
18

19. @xuxoramos
Qué significa esto para el Deep Learning?
19
Explicar decisiones en términos de weights no
es admisible, ni accionable para el afectado*
* https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/

20. @xuxoramos
Entonces ya no lo usamos?
20
Cuando la distancia entre una decisión, y su
recompensa / penalización sea directa, usa DL*
* http://www.wired.co.uk/article/google-ai-montezuma-revenge

21. @xuxoramos
Relación entre Reward y Penalización
21
* http://www.wired.co.uk/article/google-ai-montezuma-revenge

22. @xuxoramos
Relación entre Reward y Penalización
22
* http://www.wired.co.uk/article/google-ai-montezuma-revenge
t + 1

23. @xuxoramos
Y cuando no lo sea?
23
DARPA1
, MIT2
, Cambridge, Oxford, DATANK, et
al ya están en ello.
1. http://www.darpa.mil/attachments/DARPA-BAA-16-53.pdf
2. http://news.mit.edu/2016/making-computers-explain-themselves-machine-learning-1028

24. @xuxoramos
Y mientras?
24
* https://arxiv.org/pdf/1702.08835.pdf

25. Hay un marco ético
para esto?
25

26. ACM*
Enero 2017
Awareness of Bias
Access & Redress
Accountability
Explanation
Data Provenance
Auditability
Validation & Testing
26
*
https://www.acm.org/binaries/content/assets/public-policy/2017_usacm_stat
ement_algorithms.pdf

27. @xuxoramos
Q&A
27

28. @xuxoramos
Quieres presentar
tu proyecto?
@xuxoramos
facebook.com/xuxoramos
github.com/xuxoramos
jesus@datank.ai
28