Presentación del Seminario “Ética para máquinas: cómo enseñar a tu robot a que se porte bien”. Gonzalo Génova. Pamplona, 9 de abril de 2019. Gonzalo Génova, es Profesor Titular en el Departamento de Informática de la Universidad Carlos III de Madrid. Es Ingeniero de Telecomunicación (UPM’1992), Licenciado en Filosofía (UNAV’1996) y Doctor en Ingeniería Informática (UC3M’2003). Sus principales líneas de investigación y docencia, que reflejan su marcado carácter interdisciplinar, se centran en el modelado y los lenguajes de modelado en la ingeniería del software y la ingeniería de requisitos, así como los fundamentos filosóficos de los sistemas de información, la inteligencia artificial y la ética para ingenieros. Como divulgador escribe la bitácora “De máquinas e intenciones - Reflexiones sobre la tecnología, la ciencia y la sociedad” (https://demaquinaseintenciones.wordpress.com/). En 2018 ganó uno de los premios “Razón Abierta” en la categoría de “docencia”. Resumen: Los sistemas inteligentes van a estar cada vez más presentes en nuestras vidas, desde los vehículos autónomos a los sistemas que asesoran a jueces en sus decisiones, a los bancos para conceder un préstamo, etc. En definitiva, son sistemas que tendrán que tomar decisiones con fuerte carga ética. En esta situación se plantea la pregunta, ¿podemos enseñar ética a las máquinas? En esta charla explicaré para los no iniciados qué es la inteligencia artificial, y en particular cómo un sistema computacional puede modificar su comportamiento aprendiendo del entorno, o del comportamiento de los seres humanos. Al final, la reflexión más importante es, ¿qué podemos aprender nosotros sobre la ética que somos capaces de hacer que aprenda un robot?

1. 1Qué significa enseñar ética a una máquina
Gonzalo Génova
ggenovaf@gmail.com
Departamento de Informática
Universidad Carlos III de Madrid
Universidad de Navarra
Seminario Ciencia, Razón y Fe (CRYF)
Pamplona, 9 de abril de 2019
Ética para máquinas:
Cómo enseñar a tu robot
a que se porte bien

2. 3Qué significa enseñar ética a una máquina
El Gigante de Hierro (Brad Bird, 1999)
¿Podemos enseñar ética a las máquinas?
¡Por supuesto
que SÍ!
¡Por supuesto
que NO!

3. 4Qué significa enseñar ética a una máquina
https://www.linkedin.com/pulse/teaching-ethics-machines-charles-leonard
El algoritmo ético y la ética de los algoritmos
One of the most
challenging aspects
of artificial intelligence
(AI) is including
ethics in the
formula. No matter
how good machines
become at mimicking
and surpassing a
human skill, there will
be situations where
machines will have
to make moral
based decisions.

4. 5Qué significa enseñar ética a una máquina
The Moral Machine
http://moralmachine.mit.edu/ https://youtu.be/XCO8ET66xE4 (44s)

5. 6Qué significa enseñar ética a una máquina
El Problema del Tranvía
https://en.wikipedia.org/wiki/Trolley_problem
http://nyti.ms/1F3sCz7
http://naukas.com/2015/03/03/el-problema-del-tranvia-o-mato-al-gordo/
Philippa Foot (1920–2010)

6. 7Qué significa enseñar ética a una máquina
Inteligencia Artificial = inteligencia externalizada
Máquina
simple
Máquina
autorregulada
Máquina
procesadora de
información
La inteligencia que manifiesta un artefacto
Gramófono
(1887)
Termostato
(1830)
Balanza
(ancestral)

7. 8Qué significa enseñar ética a una máquina
Inteligencia Artificial = inteligencia programada
Máquina programable:
funcionamiento flexible,
fácilmente modificable
Máquina de programa
almacenado: el programa
es información
(John von Neumann, 1945)
Máquina autoprogramable: "aprende"
de la experiencia, del entorno, y
modifica sus reglas de
comportamiento
IBM PC 5150
(1981)
Telar de Jacquard
(1801)
Juegos de Guerra (John Badham, 1983)
La inteligencia que reproduce el razonamiento humano

8. 9Qué significa enseñar ética a una máquina
Algoritmos, máquinas computacionales, y aprendizaje
Un algoritmo (= computación efectiva) es:
1. Un procedimiento mecánico…
2. …que obtiene un resultado…
3. …en un número finito de pasos.
Alan Turing (1912-1954)
It has been said that computing machines can
only carry out the processes that they are
instructed to do… But is it necessary [so]?
It would be like a pupil who had learnt much
from his master, but had added much more by
his own work. When this happens I feel that
one is obliged to regard the machine as
showing intelligence.
(Alan Turing, 1947)

9. 10Qué significa enseñar ética a una máquina
Programación explícita / implícita
Programación clásica
Reglas explícitas de
comportamiento.
Aprendizaje automático
Autoprogramación: las reglas
de comportamiento no son
explícitas, se “aprenden”.
El resultado final es el mismo:
comportamiento mecánico
(basado en reglas).

10. 11Qué significa enseñar ética a una máquina
Autoprogramación: aprendizaje por objetivo
X
X
X
X
O
X O X O X
O
X
O
X O
O
X
O
X
O
X X O
O
X X O
X
X O
X
X O
O
X
X O
X O
X
X O
X
X O
O
X X
X O
O O
X X
X X O
O O O
X
X O
X
X O
O
X
X X O
O
X
X X O
O O
X
X X O
O X O
O X
X X O
O X O
X O X
X X O
O X O
X!
O!

11. 12Qué significa enseñar ética a una máquina
Autoprogramación: aprendizaje por imitación
El resultado final es el mismo:
comportamiento mecánico
(basado en reglas).
Objetivos
vs
Estrategias
(sigue habiendo
objetivo, pero más
sutil e indirecto)
Un algoritmo
que produce
otro algoritmo

12. 13Qué significa enseñar ética a una máquina
Ética artificial: algoritmos éticos
Algoritmos que computan una decisión:
1. Quién aprueba/suspende.
2. Quién recibe un préstamo.
3. Quién es el paciente más adecuado para recibir un órgano trasplantado.
Ya usamos algoritmos para tomar decisiones con carga ética.
Y esto es “inteligencia externalizada”.
Estudiante
Participación
(10%)
Trabajo
(50%)
Examen
(40%)
Promedio
ponderado
Decisión
Alicia 9 10 9 9,5 Aprueba
Isabel 5 5 2 3,8 Suspende
Jaime 10 8 8 8,2 Aprueba
Laura 9 5 4 5,0 Aprueba
Nicolás 10 10 8 9,2 Aprueba
Pablo 5 4 6 4,9 Suspende
including ethics in the formula:
there will be situations where
machines will have to make
moral based decisions

13. 14Qué significa enseñar ética a una máquina
Ética artificial explícita: Las Tres Leyes de la Robótica
1.Un robot no hará daño a un ser humano
o, por inacción, permitir que un ser humano sufra daño.
2.Un robot debe obedecer las órdenes dadas por los seres humanos,
excepto si estas órdenes entrasen en conflicto con la 1ª Ley.
3.Un robot debe proteger su propia existencia
en la medida en que esta protección no entre en conflicto con la 1ª o la 2ª Ley.
https://es.wikipedia.org/wiki/Tres_leyes_de_la_robótica
Isaac Asimov
(1920–1992)
I, Robot
(Alex Proyas, 2004)

14. 15Qué significa enseñar ética a una máquina
Círculo Vicioso (Runaround) / El Asno de Buridán
http://www.singularitysymposium.com/laws-of-robotics.html
http://proyectokoan.com/671-2/

15. 16Qué significa enseñar ética a una máquina
¿Son implementables?
(en una máquina computacional)

16. 17Qué significa enseñar ética a una máquina
Dificultades: ¿todas las consecuencias?
https://www.linkedin.com/pulse/getting-results-all-creating-domino-effect-your-life-aldo-moller

17. 18Qué significa enseñar ética a una máquina
Dificultades: ¿qué es un ser humano?
Duck Dodgers in the 24½th Century
https://www.youtube.com/watch?v=OEXvsGe657Q (57s)
Test de
Turing

18. 19Qué significa enseñar ética a una máquina
Dificultades: ¿son “verdaderas” las premisas deónticas?
¿Es la diferencia
empíricamente
verificable?
¿Cómo distinguimos
el bien y el mal
“primeros”?

19. 20Qué significa enseñar ética a una máquina
Ética artificial autoprogramada: aprendizaje por imitación
Profesor Participación Trabajo Examen Suma
Prof. Castells 10% 50% 40% 100%
Prof. Guijarro 40% 20% 40% 100%
Prof. Jiménez 10% 10% 80% 100%
Prof. Muiño 20% 20% 60% 100%
Prof. Trujillo 50% 25% 25% 100%
Prof. Zaldívar 15% 55% 30% 100%
Promedio A 24,2% 30,0% 45,8% 100%
Promedio B 27,0% 34,0% 39,0% 100%
¿Por qué esos porcentajes 10-50-40?
Preguntemos a los profesores…

20. 21Qué significa enseñar ética a una máquina
“Adaptar la decisión ética al máximo común denominador…”
Podemos hacer que una máquina aprenda, es decir, imite, decisiones éticas.
Y esto es “inteligencia externalizada”.
http://moralmachine.mit.edu/
Even if the driving skills of the car can
be standardized, its "ethics” would have
to be customized to the maximum
common denominator of the territory
where it will be used.

21. 22Qué significa enseñar ética a una máquina
Ética artificial: problemas planteados
Sesgos…
Pero, ¿qué es un sesgo?
• Profetizar el futuro
• Recrear sesgos históricos injustos
• Accountability (responsabilidad)
• Transparencia, explicabilidad de las decisiones
• Corrupción de los sistemas de IA
• Efectos no-deseados, no-intencionados
Los límites del
juego de imitación
Comportamiento
mecánico,
programado

22. 23Qué significa enseñar ética a una máquina
El problema de fondo: ¿qué es enseñar ética?
La ética no es solo, ni principalmente,
seguir un código de conducta
ni imitar el comportamiento de otros.
http://en.wikipedia.org/wiki/Turing_test
Decisiones computables
(reglas explícitas)
El test de la
dignidad
Comportamiento imitable
(reglas implícitas)
• Reconocer a los seres humanos.
• Reconocer la dignidad humana.
• Reconocer los valores éticos.
• Reconocer por sí mismo el bien y el mal.
Esto no es computable.

23. 24Qué significa enseñar ética a una máquina
El humano y el robot ante el espejo
Inteligencia externalizada
La humanización del robot
---
La robotización del humano
La racionalidad de la acción (de
los fines) no se puede resolver
algorítmicamente: los fines son
presupuestos de los algoritmos.
Inventamos artefactos para resolver problemas.
Pero nosotros somos más que resolvedores de problemas.
Somos capaces de autoproponernos objetivos.
¿O no?¿Quién toma la decisión?
El hombre bicentenario (Chris Columbus, 1999)
¿La abolición del hombre?