Diseño consciente de sistemas éticos de Inteligencia Artificial

Diseño consciente de sistemas éticos
de Inteligencia Artificial
Prof. Yannis Dimitriadis
Grupo GSIC/EMIC
Universidad de Valladolid
Curso Ética e Inteligencia
Artificial
Universidad de Valladolid
23 de octubre de 2024

Usando Inteligencia Artificial en 1989 …
Monitorización de producción de penicilina
2
n Proyecto europeo de control industrial
n Monitorizar y controlar una planta de
producción de penicilina con sensores
mediante software
n Uso de redes neuronales para estimar los
parámetros más relevantes e identificar el
sistema
n Problema del ingeniero de producción:
¿Y yo cómo sé que no va a explotar la planta?

Usando IA en 1989 …
La cuestión ética
3
n Ni los responsables de producción, ni los
científicos implicados pueden explicar el
funcionamiento de la red neuronal
n ¿Quién será el responsable y quién va a
rendir cuentas si algo no va bien, aunque en
general funciona correctamente?

Soluciones de diseño conscientes de la ética
4
n Emplear un sistema neuro-difuso en el cual
las decisiones se expresan mediante reglas
difusas
n Hacer los estudios en una planta piloto
M. Arauzo, J.M. Cano, E. Gómez, M. López, Y. Dimitriadis, J. López “Automatization of a penicillin production process
with soft sensors and an adaptive controller based on neuro fuzzy systems”, Control Engineering Practice, 13 (2004) 1073-1090

Abstrayendo un poco
5
n Para el problema de explicabilidad o
comprensión humana
– De la caja negra de redes neuronales a la
expresión simbólica difusa
n Para el problema de seguridad y rendición
de cuentas
– De la producción inmediata a la prudencia de la
experimentación en la planta piloto

La inteligencia artificial
como un término paraguas
6
Regona, Massimo & Yigitcanlar, Tan & Xia, Bo & Li, R.Y.M. (2022). Opportunities and adoption challenges of AI in the
construction industry: A PRISMA review. Journal of Open Innovation Technology Market and Complexity, 8(45).
https://doi.org/10.3390/joitmc8010045
«Cualquier método computacional
que se hace actuar independientemente hacia un objetivo
basado en inferencias de la teoría o patrones en los datos».

Los tipos de IA y el control humano
7
n No todos los tipos de IA tienen los mismos
problemas éticos
– Sistemas: Neuronales, simbólicos, difusos,
híbridos …
– Mecanismos: De las reglas simples y los
árboles de decisión a los sistemas de caja
negra de las redes neuronales, el aprendizaje
profundo, los modelos grandes de lenguaje, etc.
n “Good old-fashioned artificial intelligence”
– Basada en lógica simple (IA simbólica)
fácilmente interpretable

¿Qué se puede hacer con diseño?
La formulación del problema
8
n El problema ético no es nuevo, ni propio de
la IA o de IA Generativa
– Ver también “Belmont Report” sobre
investigación con sujetos humanos
n Componentes de problemas éticos
– Privacidad, justicia, explicabilidad, inclusión,
agencia moral, rendición de cuentas,
alineamiento de valores, robustez,
transparencia, sostenibilidad de medio
ambiente, confianza, etc.

9
“Cómo optimizar el impacto
beneficial y reducir riesgos y efectos
adversos” (IBM, 2024)
n Un problema complejo de optimización con
restricciones
n La clave de diseño: Ser consciente de los
problemas éticos y actuar en consecuencia
IBM. What is AI Ethics: https://www.ibm.com/topics/ai-ethics. Último acceso 22/010/2024

10
n Muchos organismos reconocen el problema
– Unesco, Consejo de Europa, Estrategia
Nacional de IA 2024, IBM…
n Muchas facetas de acción aparte de la
reflexión ética a nivel individual, nacional,
institucional, o la regulación
– Y hasta de los propios profesionales de
investigación, innovación, ingeniería
n ”Ethics-aware o Ethics by design”
– Diseño, implementación y uso sistemas IA

Ilustrando el problema
Unos dilemas éticos (tensiones de diseño)
11
n Seguridad vs privacidad
– Ver Patriot Act y FISC Section 702
n Beneficio vs bienestar
– Infinite scroll y salud mental
n Crecimiento vs sostenibilidad
– Energía requerida por centros de datos
n Investigación vs garantías de participantes
– Apoyo a aprendizaje
n Eficiencia vs rendición de cuentas
– Coche autónomo

Modelos predictivos
(Estudiantes en riesgo de fracaso)
12
Herodotou, C.; Hlosta, M.; Boroowa, Avinash; R., Bart; Zdrahal, Z. and Mangafa, C. (2019). Empowering online
teachers through predictive learning analytics. British Journal of Educational Technology, 50(6) pp. 3064–3079.
¿Cómo funciona el modelo de predicción y cómo se ha entrenado?
¿Cómo se recogieron los datos para este modelo de predicción?
¿Quién participó en su diseño y quién puede utilizar los datos?

Extracción de patrones mediante LA
(Detección de estrategias de aprendizaje)
13
J. B. J. Huang, A. Y. Q. Huang, O. H. T. Lu and S. J. H. Yang, "Exploring Learning Strategies by Sequence Clustering
and Analysing their Correlation with Student's Engagement and Learning Outcome," 2021 International Conference
on Advanced Learning Technologies (ICALT), 2021, pp. 360-362, doi: 10.1109/ICALT52272.2021.00115.
¿Cómo se definen y calculan los indicadores de las estrategias?
¿Quién y cómo puede interpretar estos datos?
¿Existe algún sesgo de los alumnos respecto a estas estrategias?

Entornos de aprendizaje inteligentes
(recomendaciones-recursos personalizados)
14
S. Serrano-Iglesias, E. Gómez-Sánchez, M. L. Bote-Lorenzo, G. Vega-Gorgojo, A. Ruiz-Calleja and J. I. Asensio-Pérez
(2021) "From Informal to Formal: Connecting Learning Experiences in Smart Learning Environments," 2021 International
Conference on Advanced Learning Technologies (ICALT), pp. 363-364, doi: 10.1109/ICALT52272.2021.00116.
¿Cómo se construye el modelo del alumno?
¿Participan los profesores/alumnos en los guiones de reacción?
¿Qué ocurre con la privacidad en entornos de aprendizaje informal?

Ética desde el diseño (ethics by design)
El marco general de la UE
15
EU Commission, Ethics and Research Integrity Sector, DG R&I (2021), “Ethics By Design and Ethics of Use Approaches for
Artificial Intelligence”
Proyecto Sherpa: Shaping the ethical dimensions of Smart Information Systems: A European perspective,
https://www.project-sherpa.eu/
Proyecto Sienna: SIENNA: Technology, ethics and human rights, https://www.project-sherpa.eu/

El marco general de la UE
16
EU Commission Grupo de expertos de alto nivel sobre inteligencia artificial (2019). DIRECTRICES ÉTICAS para
una IA FIABLE. https://ec.europa.eu/newsroom/dae/document.cfm?doc_id=60423

El modelo en cinco etapas
17

El ciclo de vida
18
EU Commission Grupo de expertos de alto nivel sobre inteligencia artificial (2019). DIRECTRICES ÉTICAS para una IA FIABLE.
https://ec.europa.eu/newsroom/dae/document.cfm?doc_id=60423

Un checklist
19

Especificación de objetivos
20
n Evaluar si los objetivos del proyecto de
diseño cumplen los requisitos éticos
n Recurrir a un especialista en ética de la IA
para evaluar los objetivos
n Incluir a las partes interesadas externas

Especificación de requisitos (técnicos/no técnicos)
21
n Realizar una evaluación ética de riesgos e
impactos
n Incluir una arquitectura de cumplimiento
ético integrada en la infraestructura de
desarrollo y un conjunto de estructuras y
procedimientos organizativos
n Incluir un modelo de gobernanza ética

Diseño de alto nivel
22
n Verificar que el diseño permite una interfaz
basada en principios de diseño centrados en
el ser humano que dejan oportunidades
significativas para la elección humana
n Garantizar que no haya ningún aspecto del
sistema de IA que pueda confundirse con un
humano, sin que se advierta de ello
n Diseñar un mecanismo auditable que
registre el ciclo de gestión de los datos

Recogida y preparación de datos
23
n Especificar las medidas que se tomarán para
garantizar que los datos sobre las personas
son representativos y reflejan su diversidad
o son suficientemente neutrales
n Garantizar que los datos de entrada,
formación y salida se analizan para detectar
sesgos de entrada
n Garantizar que el personal implicado tenga
la formación adecuada

Diseño detallado y desarrollo
24
n Instituir medidas tanto técnicas como
organizativas para lograr la protección de
datos desde el diseño y por defecto, incluso
a través de medidas como el cifrado, la
pseudo-anonimización, la agregación, la
anonimización y la minimización de datos.
n Comprobar la existencia de sesgos
algorítmicos

Diseño detallado y desarrollo
25
n Utilizar metodologías y herramientas
formales para garantizar la explicabilidad,
como los enfoques XAI o Transparencia por
diseño, y documentación programática.
n Asegurarse de que los controles de auditoría
informen del rendimiento y registren las
decisiones tomadas por el sistema
n Seguir prácticas de uso sostenible de la
energía

Pruebas y evaluación
26
n Comprobar si los usuarios entienden que
están interactuando con un agente no
humano
n Garantizar que la información sobre las
capacidades y limitaciones del sistema se
comunica a las partes interesadas
n Establecer procesos para obtener y tener en
cuenta las opiniones de los usuarios y que
existan mecanismos para adaptar el sistema

Despliegue y uso éticos
27
n Planificar las tareas relacionadas con la ética
de uso en el presupuesto y planificación
n Instituir un equipo de ética de la IA con
responsabilidades para aplicar las directrices
éticas o supervisar su aplicación
n Si un sistema de IA se adquiere
externamente como solución estándar, elegir
el sistema más capaz de cumplir los
requisitos éticos

Despliegue y uso éticos
28
n Realizar una evaluación de riesgos éticos y
una evaluación de impacto
n Eliminar datos personales, a menos que
pueda justificar por qué es probable que la
eliminación imposibilite o perjudique
gravemente la consecución de sus fines
específicos
n Asegurarse de que los usuarios tengan un
canal de quejas éticas

Diseño centrado en el ser humano
La co-creación
29
Diseño centrado en el usuario Co-creación (co-diseño))
User
Researcher
Designer
Sanders, E. B. N., & Stappers, P. J. (2008). Co-creation and the new landscapes of design. Co-design, 4(1), 5-18.

La co-creación
30
n El enfoque centrado en el ser humano
pretende identificar
– las partes interesadas fundamentales
– sus relaciones
– los contextos en los que funcionarán esos
sistemas

La co-creación
31
n Inclusión mediante la participación de las
partes interesadas en el proceso de diseño
n Experiencias empáticas (sobre todo a la
hora de tomar decisiones de diseño)
Giacomin, J. (2014). What is human centred design? The Design Journal, 17(4), 606–623.
https://doi.org/10.2752/175630614X140561854801.

Autonomía vs automatización
Colaboración entre seres humanos e IA
32
• Molenaar, I. (2021), "Personalisation of learning: Towards hybrid human-AI learning
technologies", in OECD Digital Education Outlook 2021: Pushing the Frontiers with Artificial
Intelligence, Blockchain and Robots, OECD Publishing, Paris,
https://doi.org/10.1787/2cc25e37-en.

Autonomía vs automatización
Colaboración entre seres humanos e IA
33
• Shneiderman, B. (2020). Human-Centered Artificial Intelligence: Reliable, Safe & Trustworthy. International Journal of
Human–Computer Interaction, 36(6), 495–504. https://doi.org/10.1080/10447318.2020.1741118

Colaboración entre humanos e IA
IA para apoyar el bienestar de los doctorandos
34
L.P. Prieto, G. Pishtari, Y. Dimitriadis, M.J. Rodríguez-Triana, T. Ley, P. Odriozola-Gonzélez. (2023)
“Single-case learning analytics: Feasibility of a human-centered analytics approach to support doctoral education”,
Journal of Universal Computer Science, 29(9) 1033-1068 doi: 10.3897/jucs.94067

Colaboración entre humanos e IA
Apoyo a proceso de toma de decisiones éticas
35
n Estudio de la agencia
del profesorado en
entornos inteligentes
n Adopción de procesos
de diseño centrados en
los seres humanos
n Diseño de nuevos
agentes GenAI para el
apoyo al debate

Unos procesos formales
36
n Privacidad por diseño
– Reducir el riesgo de de-anonimización
n Explicabilidad por diseño
– Generar pocas características de la toma de
decisiones
n Diseño sensible a valores
– Recoger y ajustar a los valores de los afectados
n Diseño consciente del contexto
– Considerar las diferencias culturales y sociales

Unas reflexiones finales
37
n El diseño de soluciones conscientes de los
problemas éticos no es trivial, no es
pequeño, no es solo ingenieril
n Aspecto multifacético que requiere reflexión,
diseminación, estrategias, regulación
n Pero ¿este proceso complejo puede esperar
al “hype de la IA Generativa”?

38
n Los aspectos éticos deben estar presentes
en todo el ciclo de vida de diseño y uso de
herramientas y escenarios de uso de la IA
n Los investigadores y los ingenieros pueden
contribuir a una IA más ética
n Pero se requieren todos los demás actores
en despliegue global

39
n Un problema muy complejo que requiere la
debida atención
n El ser humano y la ética asociada deben
estar en el centro de nuestra atención
n Y no solo favoreciendo la eficiencia y
eficacia, el impacto a la economía, los
intereses de las corporaciones, el juego de
poder

Diseño consciente de sistemas éticos de Inteligencia Artificial

Más contenido relacionado

Similar a Diseño consciente de sistemas éticos de Inteligencia Artificial

Más de Yannis