La Inteligencia Artificial se usa cada vez más en nuestro día a día, aportando grandes beneficios a todos nosotros. Sin embargo, la toma de decisiones con algoritmos de Machine Learning puede ser perjudicial al recrear sesgos históricos. La preocupación sobre la transparencia y la equidad del Machine Learning está en aumento debido al impacto progresivo en la sociedad. Durante la charla os invito a reflexionar sobre ello, y además os presento una técnica de entrenamiento de Machine Learning, inspirada en las GANs, que veremos como disminuye el sesgo, sin comprometer el rendimiento.

1. © GMV, 2018 Propiedad de GMV
Todos los derechos reservados
GMV-LIMITED
El presente documento está clasificado como "GMV-CONFIDENTIAL". Esta clasificación habilita a su receptor al uso de la información contenida en el documento para los fines para los que
la empresa la ha facilitado o, en su caso, a lo acordado contractualmente en relación al intercambio de información entre las partes, y ello sin perjuicio del cumplimiento de la normativa
sobre propiedad intelectual y sobre protección de datos de carácter personal.
Inteligencia Artificial y Discriminación
José Carlos Baquero Triguero
Madrid | November 30 - December 1, 2018

2. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !2
MEQUIERO
PRESENTAR
MLEQUITATIVO

3. SECURITY DATA SCIENCE
GMV-LIMITED
24/10/2018 !3
MI BIO
• Me llamo José Carlos Baquero y soy
licenciado en Matemáticas con algún
máster pero con más de 20 años de
experiencia en el sector de las
Tecnologías de la Información.
• Actualmente lidero la division de
Inteligencia Artificial y Big Data en GMV
• Aplicando Inteligencia Artificial en
Ciberseguridad, Prevención de Fraude,
Optimización de Procesos Industriales,
Asistentes Conversaciones, etc.

4. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !4
AFRONTANDO
UNNUEVO
ESCENARIO
MLEQUITATIVO

5. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !5
SIEMPRE NOS HAN CLASIFICADO

6. MACHINE LEARNING & DISCRIMINACIÓN
GMV-LIMITED
2018/12/01 !6
UN ALGORITMO TE PUEDE CONDICIONAR
TU FUTURO

7. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !7
CONFIANZA CIEGA EN LA TECNOLOGÍA
“Hiring could become faster and less
expensive, and […] lead recruiters to more
highly skilled people who are better matches
for their companies. Another potential
result: a more diverse workplace. The
software relies on data to surface
candidates from a wide variety of places and
match their skills to the job requirements,
free of human biases.”

8. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !8
O NO?
“But software is not free of human
influence. Algorithms are written and
maintained by people, and machine learning
algorithms adjust what they do based on
people’s behavior. As a result […]
algorithms can reinforce human
prejudices.”

9. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !9
ALGUNOS CASOS RECIENTES

10. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !10
“Latest White House report on Big Data
charts pathways for fairness and opportunity
but also cautions against re-encoding
bias and discrimination into algorithmic
systems”
INQUIETUD EN LOS GOBIERNOS

11. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !11
INQUIETUD EN LOS GOBIERNOS – GDPR

12. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !12
Y LAS ORGANIZACIONES?
“While algorithmic decision-making aids
have been used for decades, machine
learning is posing new challenges due to its
greater complexity, opaqueness,
ubiquity, and exclusiveness.”
“Governments and international
organizations have a role to play, but
regulations tend not to keep pace with
technological development.“

13. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !13
MACHINE LEARNING PARA LA TOMA DE
DECISIONES
Desde las solicitudes de crédito hasta las citas
on-line, día a día el machine learning está
automatizando la toma de decisiones.

14. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !14
CRECIENTE IMPACTO EN LA SOCIEDAD
Cada vez más surgen inquietudes sobre la
pérdida de transparencia, responsabilidad y
equidad de los algoritmos.

15. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !15
MACHINE LEARNING & DISCRIMINACIÓN
Necesitamos intensificar y buscar nuevas formas
para mitigar la discriminación emergente en
nuestros modelos
.
.

16. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !16
MACHINE LEARNING & DISCRIMINACIÓN
Tenemos que estar seguros que nuestras
predicciones no perjudiquen injustamente a
la gente con ciertas características sensibles
(e.j. género, etnia, etc.)

17. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !17
REACCIÓN
DELA
COMUNIDAD
CIENTÍFICA
MLEQUITATIVO

18. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !18
ÁREA ACTIVA DE INVESTIGACIÓN
Cómo realizar modelos predictivos equitativos es
un ámbito de investigación activa.
Finalmente nos lo estamos tomando en serio.

19. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !19
ALGUNAS APROXIMACIONES
1. Foco en la interpretabilidad y
transparencia: Permitir interrogar a los
modelos complejos.
2. Hacer modelos más robustos y justos en
sus predicciones: Modificar la optimización
de las funciones objetivos y añadir
restricciones.

20. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !20
EJEMPLO:
PREDICCIÓN
DEINGRESOS
MLEQUITATIVO

21. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !21
EJEMPLO: PREDICCIÓN DE INGRESOS
Entrenaremos un clasificador básico que pueda
predecir si los ingresos de una persona es
mayor de 50K$ al año
Usaremos el data set Adult UCI: : https://
archive.ics.uci.edu/ml/datasets/Adult

22. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !22
VEAMOS UNA IMPLEMENTACIÓN
https://github.com/jbaquerot/
Fairer_ML/blob/master/
notebooks/Fairer_ML.ipynb

23. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !23
RESULTADOS
MLEQUITATIVO

24. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !24
RESULTADOS
• Una vez ajustados la imparcialidad vs la exactitud de
las predicciones, establecemos λrace= 130 y λgender=
30.
• Aparentemente es un poco más complicado hacer
cumplir la imparcialidad para atributos raciales
frente por género

25. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !25
RESULTADOS
• Sacrificando sólo un 5% de la exactitud, tenemos
un clasificador que realiza predicciones más
imparciales frente raza y género
• Un resultado bastante decente!

26. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !26
CONCLUSIONES
MLEQUITATIVO

27. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !27
CONCLUSIONES
• Construir modelos predictivos imparciales no es tan
sencillo como quitar algunos atributos sensibles
de los datos de entrenamiento.

28. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !28
CONCLUSIONES
• Se requieren técnicas ingeniosas para corregir el
profundo sesgo de los datos y forzar a los modelos
a realizar predicciones más imparciales

29. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !29
CONCLUSIONES
• Realizar predicciones imparciales conllevan un coste:
reduce el desempeño de nuestro modelo

30. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !30
CONCLUSIONES
• Es un pequeño precio a pagar para dejar atrás el
mundo sesgado de ayer y construir un mañana más
justo

31. © GMV, 2018 Propiedad de GMV
Todos los derechos reservados
GMV-LIMITED
El presente documento está clasificado como "GMV-CONFIDENTIAL". Esta clasificación habilita a su receptor al uso de la información contenida en el documento para los fines para los que
la empresa la ha facilitado o, en su caso, a lo acordado contractualmente en relación al intercambio de información entre las partes, y ello sin perjuicio del cumplimiento de la normativa
sobre propiedad intelectual y sobre protección de datos de carácter personal.
!31
ELRETO
CONTINÚA
MLEQUITATIVO

32. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/10/30 !32
EL RETO CONTINÚA

33. www.gmv.es
GMV-LIMITED
GRACIAS
@jbaquerot
jcbaquero@gmv.com

34. GMV-LIMITED
MACHINE LEARNING & DISCRIMINACIÓN 2018/12/01 !34
REFERENCES
• https://blog.godatadriven.com/fairness-in-ml
• https://work.qz.com/1227982/ai-and-discrimination-what-tech-companies-can-do/
• https://research.google.com/bigpicture/attacking-discrimination-in-ml/
• https://obamawhitehouse.archives.gov/blog/2016/05/04/big-risks-big-opportunities-
intersection-big-data-and-civil-rights
• http://mrtz.org/nips17/#/
• http://www3.weforum.org/docs/
WEF_40065_White_Paper_How_to_Prevent_Discriminatory_Outcomes_in_Machine_Learning.p
df