SlideShare una empresa de Scribd logo

Relatoría Jornada Inteligencia Artificial y DDHH

m4Social
m4Social

Este documento es una relatoría de lo que fue la Jornada de Inteligencia Artificial y Derechos Humanos: Riesgos y Oportunidades organizada el pasado 10 de junio de 2021 por el Espai Societat Oberta, Lafede.cat y M4Social.

1 de 34
Descargar para leer sin conexión
1	
¡Hola!
Este documento es una relatoría de lo que fue la Jornada de Inteligencia Artificial y Derechos
Humanos: Riesgos y Oportunidades organizada el pasado 10 de junio de 2021 por el Espai
Societat Oberta, Lafede.cat y M4Social. Hemos preparado esta relatoría para que podáis
recuperar los contenidos de la jornada, así como las iniciativas y reflexiones que surgieron.
Por qué esta jornada
Los grandes avances del sector de la inteligencia artificial pueden
ser beneficiosos para la promoción e implantación de los Derechos
Humanos. Sin embargo, de forma intencionada o no, tienen serias
repercusiones en el ejercicio de derechos fundamentales
(privacidad, protección datos, libertad de expresión, igualdad ante la
ley) y en las condiciones de vida (acceso a educación, salud,
vivienda, trabajo, precriminalización por policía predictiva, etc) de
todas las personas incluidas las comunidades más oprimidas y
vulnerabilizadas a una escala sin precedentes.
La tecnología digital puede tener un impacto positivo pero no podemos caer en la visión
tecnosolucionista porque los problemas estructurales de nuestra sociedad, como la
desigualdad o el racismo, solo podrán revertirse cuestionando las estructuras de poder.
Queremos una sociedad protectora y promotora de los Derechos Humanos donde la tecnología
sea inclusiva, confiable y transparente y que ponga a las personas en el centro.
El objetivo de esta jornada es compartir conocimiento sobre el impacto de la inteligencia
artificial en el campo de la justicia social, que las organizaciones sociales incorporen la
perspectiva digital a su trabajo de defensa de derechos, y reivindicar la participación activa de
la ciudadanía en el diseño, implementación y evaluación de políticas digitales
Espai Societat Oberta
Un espacio donde poner en común miradas sobre Derechos Humanos, democracia, libertad de
expresión, migraciones y discriminación
Lafede.cat
Red formada por más de 130 organizaciones que promueve la acción colectiva de las entidades
afiliadas. Lafede.cat trabaja activamente para conseguir la justicia global y la erradicación de las
desigualdades en el mundo.
M4Social –Taula del Tercer Sector
Proyecto de la Taula Tercer Sector Social de Catalunya que quiere liderar la transformación
digital de las entidades del Tercer Sector, así como incidir en la generación de un ecosistema de
innovación en el ámbito social.
2	
Contenido de la jornada
• Por qué esta jornada
• Securitización de nuestras vidas en fronteras y ciudades
• Exclusión social automatizada. ¿cómo evitarlo?
• ¿Cómo diseñar políticas públicas digitales inclusivas desde la participación ciudadana
y la diversidad?
Raquel Jorge
‘Fulbright Fellow’ y especialista en políticas públicas tecnológicas y digitales y sus implicaciones
en gobernanza y estrategia. Actualmente trabaja como consultora asesora para organizaciones
públicas, privadas y sociales.
Montse Santolino
Periodista, comunicadora y activista social. Coordinadora y responsable de comunicación de
Lafede.cat.
“Cuando se habla de gobernanza tecnológica, no hay que menospreciar la participación de la
sociedad civil. Su influencia real debería notarse en el diseño [de políticas digitales], pero
también en la negociación y en el seguimiento de sus aplicaciones e impacto, para denunciar y
perseguir cualquier incumplimiento.” Raquel Jorge Ricart
Las organizaciones sociales participantes en la jornada no son todas expertas en el campo
tecnológico, pero pueden llegar a comprender perfectamente los riesgos y oportunidades
que supone que una máquina que procesa información también tome decisiones, y por
ello participan en esta jornada. Además, su implicación es indispensable. Son ellas las que van a
llevar a cabo la incidencia necesaria para exigir que ética, derechos humanos y justicia
social estén detrás de cada decisión que implique la actividad de una Inteligencia
Artificial. También de que la transformación digital sea una herramienta que mejore la
transformación social. Deben comprender y criticar el uso de la IA para evitar que se convierta
en otro punto de anclaje del status quo que contribuya a perpetuar o ampliar las problemáticas
y desigualdades, y a la vez, convertirla en una verdadera palanca de cambio que las reduzca o
elimine.
“En el plano de las organizaciones de la sociedad civil, uno de los retos es saber identificar cómo
les afecta la inteligencia artificial de forma concreta. Hay que poder bajarlo al terreno, a nivel
local, conseguir que una ONG de barrio sepa identificar cómo funciona, y no es fácil. Estas
jornadas facilitan el proceso y que se puedan tejer redes para llevar a cabo iniciativas de
empoderamiento, de conocimiento, de formación…” Raquel Jorge Ricart
3	
En esta jornada, de las pioneras en España, se han establecido tres mesas redondas que
representan diferentes esferas del uso de la IA. En la primera, se comprobará el impacto de la
Inteligencia Artificial en el ámbito de la securitización y, concretamente, en un contexto
político en la gestión de las fronteras y de la seguridad en las ciudades y la criminalización de las
personas migrantes y racializadas. En la segunda, se analizará la aplicación de modelos
algorítmicos de decisión en los ámbitos de la justicia y la exclusión social y, finalmente, en
la tercera mesa se revisarán las necesidades y experiencias de la administración pública
para hacer políticas públicas más digitales y participativas, con métodos más inclusivos
gracias a diferentes herramientas de innovación.
PRIMERA MESA
Securitización de nuestras vidas en fronteras y ciudades
Ana Valdivia
Matemática y Doctora en Inteligencia Artificial. Investiga el impacto político, técnico y social que
la datificación y la inteligencia artificial tienen sobre colectivos históricamente oprimidos.
Actualmente trabaja dentro del proyecto ERC “SECURITY FLOWS”, donde analiza qué tipo de
tecnologías y datos se recogen y comparten en las fronteras europeas, y cómo éstas afectan a
personas migrantes y demandantes de asilo. Ana también tiene experiencia dentro del sector
privado, dónde ha desarrollado proyectos de análisis de datos con equipos interdisciplinares
formados por científicas de datos, sociólogas, abogadas y expertas en ética digital.
Youssef M.Ouled
Periodista colaborador en diferentes medios de comunicación y trabaja para la organización
Rights International Spain (RIS) analizando el uso que hacen las Fuerzas y Cuerpos de
Seguridad del Estado del perfilamiento racial. Coautor del informe “Bajo Sospecha: Impacto de
las prácticas policiales discriminatorias”, desarrolló junto al Equipo del Decenio
Afrodescendiente de la ONU el informe “Racismo y Xenofobia durante el Estado de alarma en
España”, una investigación que analiza el impacto en la sociedad de la Covid-19 y las medidas
adoptadas por el Gobierno.
Nora Miralles
Periodista especializada en análisis internacional e investigadora en seguridad, género y
Derechos Humanos en el Observatori de Drets Humans i Empreses a la Mediterrània (ODHE) y en
el Centre Delàs d’Estudis per la Pau. Cooperativista en Sudergintza Koop. Master en Género,
Conflicto y Derechos Humanos por la Ulster University (Belfast). Forma parte de la Women’s
International League for Peace and Freedom (WILPF) y del movimiento popular de Manresa.
Pepa Martínez (Moderadora)
Licenciada en Derecho, Diplomada en cultura de Paz, Máster en educación para la ciudadanía y
en valores de la UB. Ha sido cooperante en terreno de proyectos de educación en DDHH en
México, y de ayuda humanitaria en Sudán. Ha trabajado como técnica de Educación para el
Desarrollo en varias entidades catalanas. Desde 2013 es la directora de Lafede.cat- Federación
de organizaciones para la justicia global.
4	
La securitización, la corriente política que trata el fenómeno migratorio como un peligro
para la seguridad nacional, es un concepto muy amplio que en esta jornada se ha querido
centrar en tres espacios: fronteras, migraciones y ciudades. Además, se apunta a las
soluciones tecnológicas que le impactan.
Desde los atentados del 11 de septiembre de 2001 en Estados Unidos, la sociedad ha permitido
que el estado se convierta en un ente vigilante y el derecho a la privacidad es uno de los
que ha sufrido un mayor golpe. La mayoría de la población, sin embargo, se considera libre de
esa vigilancia porque sigue las normas y leyes que rigen su país. Aunque se tenga la sensación
de que la securitización es un problema que solo concierne a quienes transgreden las normas
impuestas (los “malos ciudadanos”) lo cierto es que el concepto conlleva un grave riesgo de
vulneración de derechos.
Ana Valdivia
¿Cuál es el impacto de la IA en el contexto de las migraciones?
Evidentemente, nadie migra por placer, sino por razones que escapan de su control:
cuando su país está afectado por conflictos o violencia, por la emergencia climática, o si tienen
problemas económicos, o si son perseguidos por su ideología u orientación sexual… Estos son
algunos de los motivos que, junto a un aumento de los flujos de migración sur-norte, han
llevado a la mal llamada “crisis de los refugiados en Europa”.
Los países de acogida obligaron a la Unión Europea a desarrollar la Regulación de Dublín,, que
obliga a la persona demandante de asilo a permanecer en el país de entrada. Este reglamento se
refuerza con la base de datos EURODAC, que recoge información de los demandantes de asilo.
La información incluye nombre, apellidos y fecha de nacimiento, pero también datos
biométricos como las huellas dactilares y ya se está trabajando en proyectos para incluir el
reconocimiento facial. Otras bases de datos, como Visa Information System (VIS), recogen
información también para todos aquellos que aplican para una VISA para viajar a países del
espacio Schengen. Otros proyectos como EES (Entry-Exit System) suponen una nueva base de
datos que recogerá en 2021 toda la información, incluyendo datos biométricos, de todas las
personas no ciudadanas de la Unión Europea que crucen fronteras dentro del espacio.
Los datos biométricos son datos que permiten identificar unívocamente a una persona.
El problema es que no es posible renunciar a ellos, no es posible separarlos de su
identidad, cambiarlos o revocarlos. Cara, huellas dactilares, voz, patrón de venas (cuya
viabilidad está investigando la UE), etc, identifican para siempre a su propietario. Eso puede
llevar a casos en los que una persona no pueda cruzar una frontera porque sus datos perennes
son detectados por un algoritmo en otra base que dirime incompatibilidades, incluso cuando su
testimonio niegue cualquier irregularidad. En ocasiones se da más credibilidad a una base de
datos y a las coincidencias obtenidas por una IA que a las explicaciones del o la
demandante.
“Existe muchísima opacidad en el proceso. No es posible saber qué empresas están
desarrollando este tipo de algoritmos, qué tipos de algoritmos son, cómo se evalúan, cómo
se diseñan y con qué datos se entrenan, qué métricas tienen, cuáles son sus tasas de error, que
datos usan…” Ana Valdivia
5	
En una investigación llevada a cabo por el equipo de Security Flows en el que trabaja Ana
Valdivia, se analizaron todos los contratos de FRONTEX y eu-LISA, las dos agencias
responsables de la gestión de proyectos en el contexto migratorio europeo. Así, se
descubrió que Frontex ha invertido entre 30 50 millones de euros entre 2018 y 2019 en
tecnologías de vigilancia, como los drones, en IAs que detecten el “riesgo” que embarcaciones
en el Mediterráneo sean “peligrosas”, además de 50 millones de euros en vuelos de deportación.
También investigaron qué tipo de empresas ganan este tipo de contratos.
Según esta investigación, hay indicios de un posible oligopolio en el sistema. Tras analizar
las características de estos algoritmos, se ha descubierto que la tasa de error del algoritmo de
reconocimiento facial de IDEMIA es mayor en mujeres, especialmente en las mujeres indias
respecto a las blancas.
En conclusión, la tecnología usada ampliamente en las fronteras europeas (bases de datos
y métodos basados en estadísticas) se ha convertido en una capa más de la
criminalización de la migración. Es necesario conocer mejor el impacto que tienen estos
sistemas y analizar las potenciales violaciones de derechos humanos en las que incurren con
equipos multidisciplinares. Además, la industria privada del control de fronteras es opaca y no
cuenta con un sistema de rendición de cuentas efectivo.
Youssef M.Ouled
¿Se han reforzado las prácticas de racismo institucional?
“Para hablar de racismo institucional hay que empezar hablando del racismo estructural, en el
que se enraizan todos los ámbitos de la vida y en todos los aspectos, no solo en las
instituciones.” Youssef M.Ouled
El racismo está fuertemente arraigado en el estado, pero también en la sociedad
española, aunque las consecuencias no son percibidas por todo el mundo, sobre todo por
las personas que no son racializadas. Individuales y organismos llevan años apuntando la
problemática y siguen denunciando el racismo estructural hoy en día, especialmente durante la
pandemia en la que se ha recrudecido sus efectos tanto en el acceso a la vivienda y a la
educación, como en el control y la brutalidad de las fuerzas y cuerpos de seguridad del estado.
Hay una lucha contra la violencia racista hacia la población migrante del sur a nivel global, pero
también contra la segregación escolar y la expulsión del alumnado racializado del sistema o el
control policial discriminatorio. Todas estas demandas coinciden en ubicar el racismo en el
estado, las administraciones y en las instituciones. El enfoque antirracista en IA no se
puede entender sin tener en cuenta estas luchas y la falta de representatividad racializada en
todos los espacios.
“El racismo sin el poder se queda en prejuicio” Youssef M.Ouled
6	
Desde el antirracismo es fundamental que se aborden de forma directa las implicaciones
del uso de la Inteligencia Artificial. También, es necesario demostrar de manera cuantitativa
el problema racista a través de datos oficiales que respalden las denuncias testimoniales. Es
una reivindicación, desoída, que viene de lejos pero que conlleva ciertos peligros al implicar que
las administraciones recojan datos desglosados por raza y etnia. Mientras tanto, otros datos
igualmente sensibles se comparten en fronteras forzando la expulsión de las personas
migradas.
“Evidenciando las consecuencias podremos ver las causas” Youssef M.Ouled
La vulneración del derecho a la vida, que tiene lugar en la política migratoria y en todas las
aplicaciones que se hace en este contexto con Inteligencia Artificial, sirve para hacer crecer el
negocio millonario de la securitización y el control migratorio que cada año aumenta su
presupuesto en detrimento de los servicios públicos.
Analizando los contratos del Gobierno de los últimos años en política migratoria es posible ver
cómo estas empresas refuerzan los perímetros fronterizos mientras se encargan de los
programas de acogida e integración, limpieza y alimentación en CIE y CETI -donde los DDHH
se vulneran constantemente- y son los mismos que se encargan de la seguridad y sensores de
las vallas, por ejemplo, y de la detección y expulsión de migrantes, con grandes beneficios para
aerolíneas como AirEuropa.
“Los sistemas de radares son capaces de detectar cualquier cosa en el Mediterráneo, pero no
funcionan de forma tan eficiente en el caso de las pateras a la deriva, incrementando las cifras
de la necropolítica migratoria” Youssef M.Ouled
Muchos de estos servicios, como por ejemplo el uso de drones armados para el control
migratorio, se resuelven en contratos muy opacos con empresas que en ocasiones acaban
siendo puertas giratorias de políticos españoles. Estos incluyen también la recogida de
datos biométricos, de registros faciales, en cuyo uso se denuncia habitualmente la existencia
de prácticas discriminatorias basadas en las características raciales para registrar, controlar e
identificar a personas.
Un ejemplo más de la criminalización de las personas con diversidad de rasgos es la denuncia
de cómo la Policía de Nueva York cuenta con más de 15.000 cámaras para rastrear a gente en
barrios racializados, utilizando reconocimiento facial masivo en Manhattan, el Bronx y Brooklyn,
vulnerando el derecho a la privacidad sin ningún tipo de sospecha razonada. En España
hay casos parecidos en barrios racializados como Lavapiés en Madrid o San Francisco en Bilbao,
con fuerte presencia de cámaras aún teniendo índices de criminalidad más bajos respecto a
otros.
7	
Nora Miralles
¿Cómo se traduce la securitización en las ciudades españolas?
“Las tecnologías biométricas y de IA se han puesto al servicio de la vigilancia masiva y del
control de ciertas comunidades, personas migradas y racializadas, bajo el mantra de la lucha
contra el terrorismo” Nora Miralles
Las tecnologías basadas en Inteligencia Artificial han invadido el espacio público, especialmente
en las ciudades, para el control masivo de la población bajo el pretexto de la seguridad
ciudadana y la lucha contra la criminalidad. Existe una tendencia a aumentar los niveles de
vigilancia con tecnología que facilita el control de comunicaciones, el reconocimiento con
cámaras de videovigilancia, la posición de ciudadanos por geolocalización, el almacenamiento
en aumento de datos de los ciudadanos… Un aumento que no está justificado ni regulado, y en
el que ni los derechos civiles y políticos ni la privacidad están protegidos, con el añadido de que
no se informa debidamente sobre su uso.
Esta tendencia se ha acelerado durante la pandemia, que ha resultado un escenario muy
propicio para su proliferación. Por ejemplo, con el uso de drones de vigilancia para el control de
las medidas impuestas o incluso con la medición de la temperatura corporal de los ciudadanos,
que como datos médicos, deberían ser privados. Todo este control no respeta a las personas
individuales y el contexto de sus necesidades y conduce a un sistema mucho más punitivo
de los comportamientos individuales sin estar debidamente justificado, en contextos variados
como manifestaciones o protestas, establecimientos comerciales, institutos públicos… Algunas
de las tecnologías de reconocimiento incluso incluyen modelos de detección de
comportamientos sospechosos con un margen de error muy grande.
Aunque la tendencia es anterior, la pandemia de Covid-19 está contribuyendo a legitimar el
modelo de vigilancia masiva, lo cual es un escenario muy lucrativo para empresas del entorno
de la militarización y securitización de fronteras, pero también está siendo usado para reforzar
sistemas de detección de Fake News contra políticas del gobierno o discursos negacionistas.
Otro factor es la apuesta clara por las Smart Cities (Plan Nacional de Ciudades Inteligentes),
otro contexto que ha ayudado mucho a implantar sistemas con gran potencial para minar
la privacidad y dotar de más capacidad de control a las fuerzas de seguridad del Estado.
Gestionar su acceso y rectificación es muy difícil porque tampoco se da visibilidad sobre su uso
y motivación. Con todo ello, el espacio público es un espacio en disputa, donde las nuevas
tecnologías tienen cada vez más potencial para controlar la disidencia política, coartar el
derecho a la protesta, y en definitiva, poner en peligro los derechos civiles y políticos.
8	
¿Qué puede hacer la sociedad civil?
Ana Valdivia
Hay niveles de resistencia, la resistencia de las personas migrantes y la de las personas con
derechos como ciudadanos. Para el segundo colectivo, se anunció recientemente un
movimiento que se llama ‘Abolish FRONTEX’ donde se exige la abolición del sistema de
seguridad de las fronteras europeas por su opacidad, vulneración de derechos humanos,
responsabilidad en las más de 44.000 personas migrantes muertas… Se está usando
dinero público para deportar inmigrantes sin el consentimiento de la ciudadanía europea. Esa es
una opción como ciudadana de la Unión Europea.
Youssef M.Ouled
El derecho que se vulnera sistemáticamente es el derecho a la vida. El mar Mediterráneo es una
fosa común y lo que han llamado crisis migratoria es en realidad el temor a que lleguen
vivos. Se vulnera el derecho a la libre circulación, a migrar, y el espacio público es un espacio en
disputa donde las personas migrantes no se están atreviendo a salir a la calle incluso en
situaciones de necesidad. Es importante exigir transparencia para saber cómo y dónde se
destina el dinero orientado al control migratorio. Las personas migrantes y racializadas
deben tener un espacio de autonomía política, con participación en igualdad, en las
organizaciones nacionales e internacionales que denuncien y luchen contra la situación. Hay
que entender que estamos cayendo en una deriva autoritaria, en una retórica de cada vez
mayor control y securitización que nos afecta a todos, no solo a la población migrante.
Nora Miralles
Es necesario exigir una mayor regulación en la gestión de datos sobre la población, tener un
conocimiento mayor sobre las tecnologías, y abrir debates sobre su uso para disputar este
marco securitario que se está implantado y justificando, y que señala una parte concreta
de la población. Eso va unido a discutir la cultura del castigo y sus principales instituciones
(fronteras, cárceles, CIEs…). Los conflictos y delitos tienen contextos y causas, las
tecnologías no los van a solucionar. Se requiere impulsar nuevos modelos de seguridad
centrados en los DDHH. También se pueden impulsar la prohibición de ciertas tecnologías, por
ejemplo el reconocimiento facial, como ya se ha hecho en San Francisco. También hay que
resaltar la coherencia de políticas de empresa: nuestros datos no solo están en manos de la
policía y de los cuerpos de seguridad, sino también de empresas que vulneran DDHH.
¿Se pueden rastrear los datos sobre la población que se acumulan en bases de datos?
Ana Valdivia
El problema es la opacidad. No sabemos qué empresas están desarrollando este tipo de
tecnologías, no sabemos dónde están almacenadas las bases de datos. Sabemos que las
empresas tienen sede en Europa, aunque son multinacionales, y la GDPR obliga a que todos los
datos se almacenen en la UE, pero ¿cómo afecta eso a los migrantes que no son
considerados ciudadanos europeos?
9	
La UE sacó el primer reglamento para regular la IA, con un espacio dedicado a preguntas y
respuestas. Existe sección para datos biométricos, donde se dice que el reconocimiento facial
está prohibido en los espacios públicos, pero hay excepciones como “prevenir el crimen”.
Hecha la ley, hecha la trampa. Europol sacó un documento en el que afirmaba que no había
ninguna relación entre la inmigración irregular y el terrorismo, pero aún así continua siendo uno
de los principales argumentos esgrimidos por algunos representantes europeos.
Youssef M.Ouled
Yo defiendo que se recojan datos para poder visibilizar determinadas realidades y
violencias estructurales, para evidenciarlas y detectar qué está generando esas
desigualdades, pero plantea problemas: ¿quién custodia esos datos y para qué fines? Además,
el pirateo informático de bases de datos de instituciones públicas y administraciones es ahora
mismo uno de los negocios más lucrativos. El Ministerio de Interior fue hackeado
recientemente y eso tiene graves implicaciones para las personas vulnerables, aunque la
ley de protección de datos no sanciona los problemas de seguridad y brechas de información
que sufran las administraciones públicas.
CONCLUSIONES
Ahora es un buen momento para sensibilizar a la población sobre la reivindicación de
derechos y privacidad. Organizarse es un deber y ahora es un buen momento para hacer
pedagogía, debido al contexto actual de pandemia.
Hay que desnormalizar la hipervigilancia. Sus aplicaciones están creciendo a pasos
agigantados y es hora de “de-securitizar” la política. Hay formas de hacer política que salva
vidas, que permite que se inviertan recursos públicos en proyectos sociales, en políticas de
acogida y de ayudas, y de protección de derechos sociales.
La lucha contra la discriminación algorítmica es la lucha antifascista y contra la
discriminación racial. La tecnología y la Inteligencia Artificial son nuevas herramientas que se
pueden usar para ello, hay que estar en alerta.
ANEXOS
Preguntas y reflexiones
¿Hay alguna manera de tener una visión completa de dónde existen cámaras dotadas
inteligencia artificial? ¿Alguna organización que las compile y leyes de transparencia
que obliguen a hacerlas públicas?
Muchas veces se despliegan cámaras que tienen potencial, pero no tienen instalado ese tipo de
software. Tampoco se dispone de un mapeo de esas instalaciones, pero trascienden noticias
como que en Madrid se han implementado una serie de cámaras que sí que incluyen
programación de reconocimiento facial o que el ayuntamiento de Barcelona iba a comprar toda
una serie de cámaras y las iban a colocar en un barrio con problemas racistas. Con políticas de
transparencia se podría ahondar en ese aspecto.
10	
Las leyes vigentes ya regulan TODO lo que se ha señalado. Si no se puede controlar con lo
existente ¿qué proponen?
Las leyes no lo regulan todo. No hay ley que regule la IA o que obligue a la administración a
hacer públicas las métricas, algoritmos usados… desde la perspectiva tecnológica no está todo
regulado.
¿Podéis dar ejemplos positivos del uso o posible uso de estas tecnologías en procesos de
desarrollo?
La recogida de datos puede ser positiva y útil, pero estando atentos a todos los peligros que
plantea, sin vulnerar la ley de protección de datos… Puede, por ejemplo, visibilizar las
poblaciones más identificadas y cuales son los resultados de esa identificación. Con
proyectos pilotos se ha demostrado que las personas con nacionalidad marroquí eran paradas
hasta seis veces más que las de nacionalidad española, pero el resultado de identificaciones
que eran positivas (que acabasen con multa o detención) era mayor en las personas de
nacionalidad española, lo cual demuestra con datos una percepción subjetiva denunciada por
sus propias víctimas.
Sí que existen usos positivos, como los procesos de participación ciudadana. El problema es el
de siempre: la tecnología es neutra, pero su uso no. Además, los datos almacenados pueden
llegar a ser muy sensibles y, más allá de la posibilidad de un hackeo o filtración de los datos, las
instituciones europeas las podría ganar la extrema derecha: ¿qué pasaría entonces con los
datos sobre inmigración y disidencia política?
En Francia se ha usado el reconocimiento facial para detectar, durante manifestaciones, como
algunos miembros del cuerpo policial cometían vulneraciones de derechos. También lo
hemos usado para detectar que la policía del Reino Unido para más a la población racializada,
pero los delitos los cometen mayormente personas blancas.
¿Una mejor regulación y transparencia del uso de los sistemas de control podría hacer
positivo el uso de estas tecnologías o siempre van a pesar más los aspectos negativos?
Las buenas prácticas en el uso de estos sistemas empiezan por la educación. Es posible
publicar datos, pero si no se empieza a educar, a alarmar sobre la extrema derecha, construir
sociedades diversas, por mucho que se presenten datos no se llega a ninguna parte.
¿Conocéis casos de usos de la IA/algoritmos con sesgo racial contra personas gitanas?
estamos preparando un proyecto sobre esto. Gracias. Saez
Quizás no existe un trabajo tan específico, pero todas las tecnologías de predicción de
criminalidad en los barrios, con fuertes efectos estigmatizadores, no solo afectan a la población
migrante y seguramente se aplica en barrios con población gitana, se podría investigar.
11	
La Asociación EDRi, realizó recientemente un evento sobre reconocimiento facial, resistencia y
derechos de la población romaní en Europa y quizás puede ser una buena fuente de
información.
¿Cómo podemos pedir a las empresas que se lucran de la securitización que rindan
cuentas?
Más que pedirles que rindan cuentas, hay que exigirles que dejen de vulnerar derechos. Hay que
promover una cultura de coherencia de políticas que premien empresas éticas en este sentido.
El negocio es muy lucrativo y acaba atrayendo a empresas que no tienen tanto compromiso
ético como voluntad de hacer mucho dinero.
No se puede pedir rendición de cuentas a las empresas privadas por la opacidad de sus
relaciones con la administración, a quién sí que hay que exigir más. Hay transparencia en
cuanto a algunos aspectos de las contrataciones, es cada vez más fácil saber qué empresas hay
detrás de los contratos, pero al mismo tiempo hay opacidad porque los contratos tienen
descripciones muy cortas, hay subcontratos de empresas que no se hacen públicas, relaciones
empresariales que no se explicitan...
Muchas veces la gente que viene a estas charlas ya es la que está concienciada o abierta
a serlo. ¿Cómo y dónde comunicar fuera de estas cámaras de eco para que cale el
mensaje?
Se requiere un fuerte trabajo de empatía, reclamar que la sociedad se escuche más, que se
hable con las personas que sufren injusticias o que son vulnerabilizadas, especialmente
aquellos que trabajan en desarrollar tecnologías que acabarán afectando a la sociedad en su
conjunto o a determinados colectivos. Hay que tratar de visibilizar que todo eso que suena tan
lejano se acaba traduciendo en vulneración de derechos muy concretos, saber y comunicar
cómo afecta en el día a día de las personas, como la hipervigilancia cada vez más masiva. Hay
que buscar los casos concretos y hacer este trabajo de denuncia y de visibilización. No
olvidemos que el derecho al voto es un elemento de presión, se puede usar para exigir rendición
de cuentas.
Enlaces relacionados de interés 1ª mesa
● Actividad parlamentaria del Congreso de los Diputados en relación con las
MIGRACIONES:
https://tipiciudadano.es/topics/c03bd478f61d7d2139e2f16c118a0b5003e31bd0
● Informe del Grupo de Trabajo de Expertos sobre los Afrodescendientes acerca de su
misión en España:
http://rightsinternationalspain.org/uploads/publicacion/eca132299837fd31773b149f2e
9d600c5142af6c.pdf
● Estudio sobre la percepción de la discriminación por origen racial o étnico por parte de
sus potenciales víctimas en 2020:
12	
https://igualdadynodiscriminacion.igualdad.gob.es/destacados/estudiopercepcion.html
● El Parlamento Europeo aprueba los presupuestos comunitarios para los próximos siete
años: https://www.rtve.es/noticias/20201216/parlamento-europeo-aprueba-
presupuestos-comunitarios-2021-2027/2060336.shtml
● Excelencia y confianza en la inteligencia artificial:
https://ec.europa.eu/info/strategy/priorities-2019-2024/europe-fit-digital-
age/excellence-trust-artificial-intelligence_es#generar-confianza-mediante-el-
primer-marco-jurdico-sobre-la-ia
● Aquí un análisis crítico de la propuesta de reglamentación https://edri.org/our-
work/from-trustworthy-ai-to-curtailing-harmful-uses-edris-impact-on-the-proposed-
eu-ai-act/
● Tecnologías de predicción de crímenes:
https://behaviorandlawjournal.com/BLJ/article/download/75/90/
13	
SEGUNDA MESA
Exclusión social automatizada. ¿cómo evitarlo?
Gabriel González
Licenciado en Psicología y con trayectoria profesional ligada a proyectos socioeducativos con la
tecnología como un medio para la mejora de la vida de las personas. Ha trabajado en atención
directa en la Xarxa Òmnia y hace más de 10 años que se centra en el diseño e implementación
de proyectos. Actualmente trabaja como responsable de innovación en la Fundación Esplai
Ciudadanía Comprometida y colabora en la Comisión de Seguimiento del proyecto m4Social de
la Taula d’Entitats del Tercer Sector Social de Cataluña.
Sara Suárez-Gonzalo
Sara Suárez-Gonzalo es Doctora por la Universitat Pompeu Fabra de Barcelona, donde trabaja
como investigadora postdoctoral Irla especializada en las implicaciones sociales y políticas de la
explotación de datos masivos. Además del ámbito más puramente académico, ha trabajado
para diferentes instituciones públicas y privadas, con cargos de responsabilidad en el ámbito de
la investigación, la consultoría y la asesoría de políticas públicas digitales.
Javier Sánchez
Investigador Distinguido “Beatriz Galindo” en el grupo de investigación AYRNA del Depto. de
Informática y Análisis Numérico de la Universidad de Córdoba e investigador asociado en el Data
Justice Lab de la Universidad de Cardiff. Su investigación actual se sitúa en la brecha de
conocimiento entre las ciencias sociales y la tecnología con propuestas de auditoría y diseño en
la intersección de los sistemas de información inteligentes y la justicia social
Irene Parra (Moderadora)
Responsable de Comunicación en m4Social y Comunicación Digital en la Taula d'entitats del
Tercer Sector Social de Catalunya. Consultora en tecnologías aplicadas a las organizaciones,
especializada en marketing digital, comunicación con perspectiva de género y estudios
LGTBIQ+.
Sabemos que la tecnología y la innovación son herramientas con gran potencial para buscar
soluciones a problemas sociales estructurales. Sin embargo, en esta mesa se pretende
averiguar, mediante reflexiones y ejemplos extraídos de casos reales, si realmente este es el
caso de la Inteligencia Artificial y qué beneficios podría aportar, o si los fallos de base
detectados en su diseño y funcionamiento actuales le impiden jugar este papel
transformador.
Los sistemas de Inteligencia Artificial pueden reproducir e incluso perpetuar modelos
injustos. Esto puede deberse, en parte, a errores en diferentes estratos de su confección e
ideas preconcebidas. Para evitar sesgos y procurar la máxima es imprescindible reclamar y
asegurar la transparencia de todos los pasos de la creación de las IAs, desde su definición a
la rendición de cuentas de sus resultados, pasando por su diseño y puesta en marcha.
14	
¿Cómo está afectando la IA a los servicios sociales? ¿Cuáles son sus usos y resultados
actuales? ¿Es posible decir que la inteligencia artificial es un agente de cambio?
Javier Sánchez
En el mundo existen muchos ejemplos de sistemas de gestión de recursos sociales del estado
del bienestar a través de sistemas algorítmicos o basados en datos, que en inglés se conocen
como sistemas Data Driven, dirigidos por datos. Este término lleva a equívocos porque ofrece
una falsa sensación de que en el trabajo de procesado de datos y toma de decisiones de estos
sistemas no hay intervención humana, que sus decisiones y acciones son autónomas y, por
tanto, objetivas. Eso lleva a situaciones como las que viven muchos usuarios de servicios de la
administración pública en la que una de las respuestas más habituales frente a la imposibilidad
de atender o entender una petición es: “no soy yo, es el ordenador”.
Algunos de los casos de uso de la Inteligencia Artificial en el panorama internacional son SyRI,
para la detección de fraude social en los Países Bajos y desarrollado bajo el supuesto,
actualmente rechazado, de que la gente de clases bajas que solicita ayudas tiende a estafar.
También existe el sistema australiano robo-debts, que actualmente se encuentra bajo
investigación judicial después de haber acusado a 600.000 personas de fraude. Por último,
cabe mencionar el sistema VioGen en España, un sistema algorítmico que determina el riesgo
de que una mujer pueda padecer violencia de género, asignando una escala de riesgo de cinco
tramos.
En Bristol se usa un sistema Integral Analítico de Datos (BIAH) que puntúa a los ciudadanos y
ciudadanas utilizando distintas fuentes de datos hasta en 35 problemas sociales. Un ejemplo
sería el uso combinado de información policial y socioeconómica para detectar y predecir la
probabilidad de que un niño se encuentre en cierto riesgo de exclusión social. Por muchos datos
que tenga este sistema, su precisión y acierto no están asegurados de por sí.
“No hay evidencia ni ejemplos sólidos de que el comportamiento humano pueda predecirse
algorítmicamente.”
La estadística ofrece garantías para describir y predecir con mayor o menor precisión un
comportamiento determinado a nivel de población, pero no a nivel individual.
Actualmente, se usan herramientas poblacionales para analizar casos individuales, lo cual es
erróneo. Ejemplo de ello es este estudio muy reciente en que se intentó predecir trayectorias de
vida y aspectos sociales usando varias bases de datos y algoritmos. Ningún grupo consiguió
predecir ninguno de los eventos. Esto sitúa el ámbito estadístico poblacional aplicado al
comportamiento individual como un sistema no mucho mejor ni más justo que el del azar.
Lanzar una moneda al aire tiene la misma capacidad predictiva que una IA haciendo
predicciones de comportamiento individual en base a datos estadísticos.
Es importante destacar que las herramientas de predicción con Inteligencia Artificial
normalmente van dirigidas a vigilar a personas migrantes o racializadas, comunidades en riesgo
15	
de exclusión social o familias con bajos ingresos. Raramente se usan para localizar y
monitorizar la delincuencia financiera y a criminales de cuello blanco, cuando tendría
sentido por las cantidades de dinero público que esconden, redistribuyen o roban. Aunque
existen información y datos sobre crímenes financieros, no se investigan y persiguen con las
mismas herramientas innovadoras que el segmento poblacional con más riesgo de exclusión. El
proyecto White Collar Crime Risk Zones denunció esa doble vara de medir realizando un mapa
interactivo que analizaba las zonas de Nueva York donde hay más riesgo de vivir un crimen
financiero e incluso generó el retrato robot del perfil de persona sospechosa que pudiera
protagonizar uno de estos crímenes: un hombre blanco.
¿Cómo evitar los problemas de sesgo e injusticia en los sistemas con IA o basados en
datos estadísticos?
La gran apuesta de las propias empresas privadas que desarrollan soluciones tecnológicas es la
autorregulación y el desarrollo de guías éticas, aunque es un remedio que genera grandes
conflictos de intereses. También existe un riesgo de solucionismo tecnológico ya que
muchos de los problemas relacionados con Inteligencia Artificial no se solucionan sólo con su
monitorización y predicción, pero sí con más atención al origen del conflicto social
Por otro lado, las guías éticas que desarrollan las empresas privadas se basan en principios
abstractos y no aterrizan muchos de los conceptos lo que en la práctica diluye los requisitos de
un sistema para ponerse en marcha. Una posibilidad de concreción de principios sería
basarlos en los principios de los Derechos Humanos, aunque la inmensa mayoría de ellas
son elaboradas en países occidentales del norte, Estados Unidos y Europa, y no le dan el
mismo peso a las dimensiones analizadas, por lo que podríamos decir que requieren la
aplicación de unas ‘gafas interseccionales’ que sean sensibles a criterios más diversos.
En conclusión, en ámbitos de justicia social es preferible usar la estadística descriptiva que
la estadística predictiva, que en general presenta varios problemas como la imprecisión, la
disriminación, imposibilidad de recoger factores no codificables numéricamente y la
problemática comentada de extrapolar conclusiones poblacionales a individuos. No es seguro
ni efectivo anticipar el futuro con datos estadísticos. Además, es indispensable ser más
críticos con los algoritmos aplicados, con una mirada que también incluya a la comunidad
afectada y no solo a la operacional que pone en marcha esas soluciones de procesado
estadístico y que imbuye la solución tecnológica de sus propias lógicas ideológicas. Más
evaluación, más interdisciplinariedad, más inclusión de actores y más sensibilidad hacia los
conceptos sociotécnicos. Un ejemplo es el proyecto Algorithmic Ecology.
16	
¿Cómo pueden las organizaciones sociales trabajar para evitar un uso excluyente de las
IAs?
El uso de herramientas de automatización en el ámbito social va en aumento, y esto empieza a
traducirse en cambios palpables, que afectan a la sociedad, y más especialmente a los
grupos sociales más vulnerables. Estos cambios pueden ser más o menos explícitos, más
ruidosos o más sutiles, pero es igualmente importante analizar las consecuencias de ambos.
En primer lugar, podemos hablar de las consecuencias inmediatas, que tienen una afectación
directa y práctica en un individuo o colectivo concreto, como puede ser quedar excluido de una
ayuda social. Es necesario, sin embargo, prestar atención también a consecuencias menos
inmediatas, pero que pueden degradar el tipo de sociedad que queremos ser.
Por un lado, usar tecnologías como la IA no resuelve cualquier tipo de problema, y, por otro lado,
a menudo la introducción de dicha tecnología supone restar otros recursos económicos
y técnicos, pero también reducir la atención humana a estos problemas.
Es necesario hacerse una pregunta previa a la implantación de una IA. ¿Para qué sirve
introducir algoritmos en el ámbito de los servicios sociales? Actualmente, su uso responde
a una motivación por aumentar la eficiencia de los procesos en los que se inserta, y obtener
cierto ahorro económico, además de guiarse por la supuesta objetividad de la técnica.
Teniendo en cuenta que uno de los objetivos de nuestra sociedad democrática es que todas las
voces tengan un papel activo, no es bueno que el criterio que prevalezca en un estado del
bienestar, y en concreto en relación a los servicios sociales, sea la eficiencia. La
implantación de sistemas automatizados, en cambio, limita en la práctica la intervención
humana y redunda en una disminución de la participación democrática. Conduce a un tipo de
sociedad en la que la brecha entre gobernantes y gobernados aumenta.
“En la gestión pública, la implantación acrítica de sistemas automatizados basados en
algoritmos de inteligencia artificial nos acerca a una sociedad menos democrática, donde una
élite gobernante conoce los instrumentos tecnológicos y los usa para aumentar la eficiencia,
mientras la ciudadanía gobernada no la comprende, no tiene capacidad de participar, pero está
afectada por las decisiones tomadas”
Con el objetivo de evitar estos efectos indeseados de los sistemas de IAen el sector público, las
organizaciones sociales y el conjunto de la ciudadanía deberían centrarse en tres acciones.
1. Entender la lógica básica del funcionamiento de la AI, es decir, entender qué es capaz de
hacer y qué no, para qué sirve y qué la hace inútil.
2. Desmitificar y deselitizar la IA para acercarla a toda la sociedad, usando términos
accesibles y comprensibles que estén relacionados con su realidad social.
17	
3. Fomentar la participación social de la ciudadanía -especialmente la de los grupos más
marginalizados y vulnerables- y la de las entidades sociales.
La IA es una tecnología de moda, que está muy sobredimensionada. Se le atribuyen
capacidades que en realidad no tiene ni se espera que tenga a medio o corto plazo y se trata,
además, de una tecnología muy opaca. Eso provoca que la ciudadanía la entienda como algo
misterioso sobre la que no se ve capaz de opinar y que esa función crítica se considere
reservada a perfiles expertos. Ese es uno de los problemas que hay que combatir de forma más
urgente: todo el mundo puede comprender la lógica básica del funcionamiento de la IA. Para
ello, se recomiendan herramientas de formación iniciática como el curso de introducción a
la IA Elements of AI, que ha sido traducido recientemente al castellano, porque ayuda a
entender la lógica básica de la tecnología.
La IA puede ayudar en la eficiencia, pero precisamente el ámbito del servicio social
requiere mayores dosis de empatía humana que una máquina no puede ofrecer. ¿Cómo se
conjugan esas dos necesidades?
Gabriel González
“Hay que dejar la empatía a las personas y encargar a la tecnología aquello que es capaz de
hacer bien, complementando y aportando valor a las experiencias de apoyo a las personas”
La atención a las personas debe ser empática,y que esta empatía sea la base de todos los
proyectos dee proyectos que acometan las organizaciones sociales para mejorar la calidad de
vida de quienes atienden. Eso es posible con metodologías que pongan a las personas en el
centro, como por ejemplo de la metodología Design Thinking, creada con el objetivo de que
sean las mismas personas beneficiarias las que participen en la construcción de cualquier
iniciativa planteada.
En el caso de la IA, es imprescindible que en su diseño se cuente con equipos multidisciplinares
que incluyan a las mismas personas que se pretende atender. Además, en su confección es
necesaria una gran dosis de empatía que asegure que se incluyen criterios de
imparcialidad para un trato equitativo, de confiabilidad y seguridad, privacidad y gobernanza
inclusividad para no dejar a nadie al margen y transparencia que asegure que se conozca la
finalidad de los objetivos de esa IA, su funcionamiento y sus limitaciones.
Estos equipos de diseño de IAs deben incluir a las personas beneficiarias, pero también a
perfiles profesionales diversos que aporten conocimiento, minimizando de esta manera la
posibilidad de producir algoritmos sesgados que reproduzcan o amplifiquen discriminaciones ya
presentes en la sociedad.
El proceso de auditoría de una IA debería estar presente durante todo su ciclo de vida, incluso
en la parte final en la que una persona acaba tomando la decisión definitiva basándose en
18	
mayor o menor medida en los resultados generados por esa inteligencia artificial, de manera
que esa persona sea capaz incluso de descartar lo que proponga la máquina, si lo
considera necesario.
Para asegurar la inclusividad de estas tecnologías, es imprescindible quelas personas
beneficiarias sean dotadas de los recursos necesarios y reciban las explicaciones sobre qué
papel tendrá la tecnología en el servicio que se les ofrezca. Además, se deben valorar y
anticipar dentro de lo posible las consecuencias no deseables que puede tener cualquier
propuesta tecnológica.
Las organizaciones de la sociedad civil llevan mucho tiempo luchando para superar la brecha
digital en todas sus formas, precisamente para asegurar que las soluciones propuestas
lleguen a sus usuarios potenciales.
Es hora de incorporar la IA dentro de la competencia digital de las personas. Por su
capacidad disruptiva y transformadora, y más allá de los aspectos técnicos que implica, es
necesario compartir y explicar las implicaciones sociales y personales que comporta su uso.
Especialmente porque algunos de estos algoritmos se están usando como modificadores
de pensamiento y conducta en base a intereses comerciales y políticos. Los filtros burbuja, la
economía de la atención, los servicios digitales aparentemente gratuitos y el negocio de los
datos… todos estos conceptos, con riesgos importantes, se construyen alrededor de algoritmos
que es vital conocer para ser críticos en su impacto y en las decisiones que se toman a nivel
usuario.
En ese trabajo para mejorar la competencia digital, especialmente en edades tempranas,
hay que introducir el respeto a los demás, ya sea en la interacción en esos espacios digitales
o en la valoración crítica de los contenidos consumidos, con retos como los conocidos
deepfakes, uno de los usos perversos de la IA. Por ejemplo, a partir de los 10-12 años es
relativamente fácil aprender cómo funcionan los algoritmos y detectar los sesgos que incluyen.
En la Fundacion Esplai se han realizado algunas experiencias al respecto, aprovechando
recursos de la plataforma Machine Learning For Kids, gracias a la cual los jóvenes han
entrenado un algoritmo para detectar expresiones de violencia de género y racismo. Con este
tipo de propuestas se integra el trabajo de la educación en valores con la aplicación tecnológica.
¿Cómo se afronta la aplicación de la Inteligencia Artificial en las entidades sociales¿
¿Qué ventajas y desventajas expresan sus profesionales? ¿Qué tipo de acciones se
beneficiarían de su uso?
Gabriel González
Las tecnologías como la Inteligencia Artificial son vistas con recelo por los y las
profesionales del ámbito social, de la misma manera que las percibe parte de la ciudadanía.
Esto se puede deber a varios factores, incluyendoel papel de los medios de comunicación que
enfatizan las aplicaciones más controvertidas e impactantes de la tecnología, o una cultura
cinematográficaque ha creado un imaginario colectivo donde las que IA acaban tomando
conciencia de sí mismas y terminanrebelándose contra sus creadores.
19	
Además, se destaca la frialdad de la tecnología porque no es posible que actúe con la
proximidad humana. Estos dos factores, unidos a la falta de formación en competencias
digitales, ha provocado que el sector social vaya con retraso en la implantación de la tecnología.
Poco a poco, el sector se va dando cuenta de que se puede beneficiar de la tecnología digital y
la atención a las personas debe incluirla en sus procesos, especialmente cuando el mundo está
en plena aceleración de la transformación digital. Hacen falta recursos, formación -o
aprendizaje-, y sobre todo acompañamiento en este proceso estratégico que conlleva un
tiempo, ya que supone un cambio de actitudes, aptitudes y cultura organizativa.
El contexto de pandemia ha obligado a acelerar o iniciar los procesos de transformación
digital ante los límites que imponía el confinamiento. El proceso ha sido muy desigual, no sólo
por los cambios necesarios en cada organización sino también debido a la brecha digital que
afecta a los diferentes usuarios atendidos. Hablamos depersonas mayores en soledad no
elegida ysin apoyo familiar, personas con diferentes tipos de discapacidad, personas sin
recursos económicos y por tanto, sin dispositivos o conexiones de red.
“El valor de los proyectos sociales está marcado por el acompañamiento y la atención
personalizada, pero ello no es incompatible con las tecnologías o la IA”
¿Tendrá la tecnología del futuro capacidad de empatía equivalente a la de los humanos?
Ahora mismo eso es ciencia ficción, pero proyectos como el plan piloto del Ayuntamiento de
Barcelona con robots diseñados para acompañar personas mayores que viven solasha sido un
gran éxito.
Datos y privacidad en el ámbito social
Actualmente, existe una cantidad ingente de datos que se generan de forma automática -
aunque también manual-. Es el llamado Big Data, y son datos que no están bien estructurados
para mejorar el servicio a las personas atendidas por la entidad social que los usa. La IA, y una
de sus formas más usadas, el aprendizaje automático o Machine Learning, pueden ayudar
mucho a extraer patrones en esa gran cantidad de datos, y detectar elementos
susceptibles de mejora o formas de discriminación automatizada.
La implementación de estas herramientas con tan gran potencial requiere alianzas con
otros actores sociales que tengan el conocimiento técnico, la metodología o el capital para
llevarla a cabo como pueden ser universidades, la administración o empresas. Estos consorcios
conforman sistemas de cuádruple hélice que integran a todos los actores de la sociedad, la
forma más adecuada de abordar cualquier proyecto de ámbito social.
En conclusión, integrar la IA en organizaciones de la sociedad civil requiere más
capacitación para entender las posibilidades de los algoritmos, especialmente en lo que se
20	
refiere al ahorro de tareas que pueden asumir de forma autónoma y hacer mejor que los
humanos. Es imprescindible analizar las aplicaciones de la IA que se realizan fuera del
ámbito social, que pueden suponer una buena fuente de inspiración para los desarrollos
propios.
¿Cómo se ha aplicado la IA en el ámbito social y cómo impacta en el Tercer Sector, por
ejemplo, en las prestaciones sociales?
Javier Sánchez
La misma lógica que se puede ver en los motores de recomendación de películas, o de
música, se ha empezado a aplicar a las ofertas de trabajo del SEPE. A la vez, la tecnología
de Inteligencia Artificial se ha usado para generar los perfiles de los candidatos con más
posibilidades de acabar siendo un parado de larga duración, con parámetros como la
cantidad de tiempo de uso de la plataforma, o el número de ofertas consultadas. En su uso más
positivo, esta tecnología puede ayudar a los demandantes a encontrar trabajo más
eficientemente, de forma personalizada y adaptada a cada currículum, un método alejado de los
envíos genéricos de archivos PDF con centenares de ofertas. Pero también se corre el peligro
de que se hagan perfilados adicionales, fuera de los cauces de la intención del sistema, aunque
en este caso la RGPD debería ser garante de la privacidad.
¿Qué parámetros debe incluir un proyecto de Inteligencia Artificial para garantizar los
Derechos Humanos?
Sara Suárez-Gonzalo
No existen recetas mágicas para evaluar los sistemas de Inteligencia Artificial, y si, además, el
objetivo es valorar cómo afectan estos sistemas a la vida de las personas, no se pueden hacer
demasiadas generalizaciones. Cada sistema tiene sus particularidades técnicas y se
implementa en una determinada realidad social, política, económica y cultural, y los dos
contextos determinarán los efectos del sistema en esa realidad concreta.
No obstante, sí hay algunos aspectos en los que podemos fijarnos, más o menos de forma
general. Hoy en día, cuando se habla de IA nos referimos básicamente a algoritmos basados en
técnicas de aprendizaje automático, de Machine Learning. Su objetivo es procesar
información para producir un resultado más o menos marcado por las instrucciones
humanas. Estos resultados se usan para predecir eventos o comportamientos, clasificar
elementos o tomar decisiones. Para funcionar correctamente, en escenarios con altos índices
de incertidumbre, estos sistemas necesitan procesar grandes bases de datos para funcionar, el
llamado Big Data.
Teniendo en cuenta estos elementos comunes, para evaluar un determinado sistema de IA
podemos fijarnos en tres aspectos importantes:
21	
1. Datos: Analizar la fuente de información del algoritmo: qué datos procesa, cómo y para
qué lo hace.
2. Modelamiento: Delimitar en base a qué parámetros se construye el sistema. Cómo se
programa y cómo se modela el sistema: qué instrucciones se le han dado.
3. Concepción: Desvelar el objetivo inicial del sistema y su aplicación práctica. Cómo y
para qué se crea y cómo se implementa realmente.
1. Los errores en los datos de los que se alimenta un algoritmo pueden comprometer la
mejor de las herramientas de inteligencia artificial. El sistema podría estar procesando
datos inexactos, incompletos o inadecuados para representar la realidad que se pretende
analizar. Por ejemplo, entrenar un sistema de reconocimiento facial con fotografías que no
incluyan caras racializadas o con diversidad de rasgos sería ofrecer al algoritmo una visión
incompleta de la realidad. Este acabaría siendo mucho más impreciso cuando se encontrase
frente a estas características físicas que desconoce. Disponer de datos masivos y alimentar un
algoritmo con grandes cantidades de datos no siempre es suficiente para representar y
entender el mundo.
2. El modelamiento de un sistema de Inteligencia Artificial, cómo se ha construido y cómo
ha sido su programación, es otro de los factores clave para evaluar sus algoritmos. Aquí es
necesario dilucidar qué decisiones se han tomado para dar unas instrucciones determinadas
que guiarán su modo de tratar los datos. ¿Qué información prioriza el sistema? Por ejemplo:
si los algoritmos son demasiado estáticos, el sistema es incapaz de aprender y adaptarse a un
entorno muy cambiante. Por el contrario, si se trata de un sistema demasiado influenciable,
puede cambiar de forma indeseada.
3. También es interesante fijarse en los aspectos de la misma concepción del modelo y su
implementación posterior. ¿Cuál es el objetivo de ese sistema de IA, para qué se ha creado,
para qué se está utilizando? En este punto se puede detectar que el algoritmo se está usando
de forma indebida, o que las personas que deben interactuar con él no están preparadas para
hacerlo. Pero ya la misma concepción del sistema, los objetivos previos que pretende
solucionar, pueden presentar problemas porque en realidad el sistema no sirve para lo que
pretende o que su función sea directamente indeseable por sí misma. Los errores de
concepción pueden suceder porque existe una desconexión entre la lógica de la IA y la realidad
del problema a la que se quiere aplicar.
Pongamos por ejemplo un sistema de IA para predecir la tasa de abandono escolar. Un tipo de
sistema que ya existe, no es ciencia ficción. Si pensamos en las causas del abandono escolar en
dos barrios diferentes existen algunos indicadores bastante evidentes como el nivel
adquisitivo de las familias, pero hay muchos otros factores: la distribución urbana, cómo
está construido el colegio, quiénes son los profesores que están dando clase ahí, circunstancias
particulares de cada estudiante...
No es imposible descifrar las causas de los problemas sociales, pero la Ciencia Social no es una
ciencia exacta: entre los mismos científicos y las mismas científicas sociales hay muchas
22	
discrepancias. La idea de predecir automáticamente cualquier resultado sobre
problemáticas sociales, con un sistema basado en técnicas automatizadas, supone
obviar esa complejidad social, y dar por hecho que somos capaces de construir modelos
eficaces recogiendo toda la complejidad social en datos y que obtengan resultados justos. Esta
forma de entender las cosas ya está dando problemas hoy en día.
Por último, la función original de un sistema de Inteligencia Artificial puede ser
indeseable, por muy bien que funcione: puede fomentar valores que no interesan o favorecer
una sociedad diferente a la que se pretende. Un caso evidente es el de Cambridge Analytica, un
sistema que se construyó para intentar manipular el voto de los indecisos, que en principio no
nos interesa como sociedad.
Estos tres factores: datos, modelamiento y concepción del sistema están muy relacionados
entre sí, pero quizás el más interesante es este último: precisamente el punto en el que las
organizaciones sociales pueden aportar más, porque es muy necesario conocer bien la
realidad en la que se quiere aplicar un sistema y determinar si la IA puede servir o no para
resolver el problema que se pretende atajar.
CONCLUSIONES
En el desarrollo de sistemas de Inteligencia Artificial es indispensable un enfoque
multidisciplinar que incluya a diferentes actores y voces especializadas en distintos campos,
sin olvidar la necesaria formación en los ámbitos que no se dominen. Esta formación es
indispensable para entender la lógica de la IA, desmitificarla y deselitizarla. En definitiva,
quitar narrativa a la IA y hacerla más democrática para fomentar la participación social y
asegurarse que cuente con la transversalidad de sistemas sociotécnicos que den el mismo
valor a los datos y a las personas.
El tercer sector y las entidades sociales deben hacer un esfuerzo para ponerse al día sobre el
uso de esta tecnología para aportar su conocimiento y competencias sobre las
problemáticas sociales. El objetivo final de cualquier tecnología es atender a las necesidades de
las personas, y eso hay que hacerlo con una visión amplia que asegure su utilidad. Para ello,
todos los actores relacionados con su diseño deben plantearse cómo se utilizan los datos, cómo
se programa el sistema y, en primer lugar, si tiene sentido hacerlo. Transformarse digitalmente
sí, pero siempre con las personas en el centro de las decisiones, respetando sus derechos
fundamentales.
23	
ANEXOS
Preguntas y reflexiones
¿Tendríamos las organizaciones que apostar por tener departamentos de tecnología
propios, con personal experto para dar seguimiento/ analizar los datos generados?
Es un gran debate en el ámbito de la administración pública y tiene dos problemas: por un lado,
las personas más capacitadas se encuentran trabajando en las grandes consultoras. Ni las
universidades ni la administración pública pueden competir salarialmente. Por el otro, la
dificultad radica en el hardware. En algunos modelos, sobre todo los de lenguaje natural, existen
muy pocas empresas con la capacidad para entrenarlos. Sin embargo, aunque no sea posible
construirlos sí que es posible auditarlos. La duda sería cómo formar a los auditores, si sería
mejor llevar a personas del ámbito de las ciencias sociales en programación, o al revés.
Tampoco cómo se podría integrar esta formación en los itinerarios universitarios, pero habría
que empezar a hacerlo en el contexto de la formación profesional.
Cuando se trata de evaluar los efectos de un sistema, es necesario trabajar con equipos
multidisciplinares. Es cierto, no obstante, que en el ámbito de las administraciones públicas,
donde se implementan sistemas tecnológicos que afectan de manera tan determinante la vida
de las personas, sí que habría que contar con personas especializadas, con conocimientos
sobre el tema, que tuvieran capacidad de analizar esas tecnologías. Externalizar o
subcontratar este tipo de sistemas es delicado, empezando simplemente por los
potenciales conflictos de intereses.
¿Podéis compartir experiencias de organizaciones sociales que estén haciendo un
trabajo de vigilancia de la automatización?
Existen algunos ejemplos en el Reino Unido, Estados Unidos o en España, donde algunos
sindicatos empiezan a trabajar en el tema. En EEUU existe el sindicato United4Respect, que
trabaja en este contexto, no solo en la parte de auditoría sino también con el desarrollo de
aplicaciones móviles como WorkIt, para consultar derechos laborales, mezclando la información
de los convenios colectivos, la legislación e incluso bases de datos que incluyen comentarios en
foros. Aquí la entrevista que El Salto Diario hizo a Catherine Huang, la desarrolladora principal de
la aplicación.
Grandes organizaciones como Amnistía Internacional van incorporando equipos especializados,
pero la gran pregunta es qué hacer con las organizaciones de base, con menos capacidad
para incluir este tipo de perfiles en la plantilla.
También existen organizaciones como Algorithm Watch que están especializadas
completamente en el ámbito de la vigilancia de sistemas de automatización, con las que quizás
sería más útil buscar maneras de colaboración si no es posible tener un departamento
propio en cada entidad. Los sindicatos son los que tienen más capacidad para hacerlo, con más
recursos, capacidad formativa, etc.
24	
En Francia, por ejemplo, se usaron los datos abiertos (Open Data) sobre las decisiones judiciales
para analizar y buscar patrones. Se descubrió que el mismo delito aplicado a personas
diferentes eran penados de una forma distinta: los jueces hacían dictámenes más punitivos
a determinados perfiles, y poder detectar ese tipo de discrepancias es fantástico. Lo terrible
es que, una vez se denunció estas discrepancias en la aplicación de la ley, que demostró
indicios de abuso, el gobierno francés prohibió la aplicación de Inteligencia Artificial en Open
Data extraída de los procesos judiciales.
El desarrollo de estas tecnologías crece más y más rápido en el norte global. ¿Cómo se
aborda, entonces, la brecha digital norte-sur?
Los sistemas de IA no afectan igual a todos los territorios ni a todas las personas que los
habitan. En el mismo diseño de los mismos se cuenta con determinados perfiles sociales
mayoritarios, se discrimina de origen a una parte de la población, y acaba provocando
problemas en su funcionamiento. Superar la brecha digital es muy importante en este
campo porque afecta de manera desigual a cada país, dependiendo de su nivel de desarrollo,
social y económico.
¿Existen empresas en Catalunya/España que auditen algoritmos de Inteligencia
Artificial en búsqueda de sesgos? Teniendo en cuenta que ese no es el final del camino,
pero sí un inicio importante.
Existe el servicio de Eticas Consulting, una de las empresas auditoras de Inteligencia Artificial
más conocidas en Cataluña y han publicado precisamente una guía de auditoría algorítmica.
Cada vez hay más ejemplos de administraciones públicas, y también de empresas privadas, que
ven necesario servirse de este tipo de servicios. Empieza a haber una sensibilidad social más
fuerte sobre este tema y la legislación ha empezado a apuntar que es importante que este
tipo de controles sean posibles y se lleven a cabo, desde dentro o desde fuera la organización
que desarrolle los algoritmos.
¿Conocéis experiencias de administraciones públicas que estén aplicando este tipo de
auditorías?
A la hora de ir a auditar estos algoritmos, uno de los principales problemas, especialmente en la
administración pública donde tienden a externalizar su desarrollo, es que los contratos del
servicio incluyen cláusulas que impiden el acceso al código, las empresas lo evitan. La
sensibilidad sobre la necesidad de auditar los sistemas aumenta, y es importante pero
complicado de ejecutar. Requiere tener conocimientos sobre muchos ámbitos, tanto sociales
cómo técnicos. No se trata de hacer una simple evaluación técnica, sino de ponderar todo
su proceso de vida (concepción, desarrollo, implementación) y la adaptación que tiene su
integración a la realidad que analiza.
25	
Es muy importante recordar, especialmente en el uso de sistemas automatizados aplicados a
servicios sociales, que en Europa, está prohibido que un sistema automatizado tome
decisiones de forma completamente autónoma que puedan afectar significativamente a la
vida de las personas, aunque esta prohibición queda abierta a la interpretación
Enlaces relacionados de interés 2ª mesa
● Repositorio de sistemas basados en IA de la Fundación Eticas:
https://eticasfoundation.org/algorithms/
● https://women4cyber.eu/
● Algunas iniciativas de empoderamiento ciudadano https://datajusticelab.org/data-
justice-2021/
● A nivel internacional: https://algorules.org/en/home
● Uso de sistemas de decisiones automatizadas en los sistemas de
bienestar digital.
https://digitalfuturesociety.com/es/report/hacia-la-igualdad-de-
genero-en-el-estado-de-bienestar-digital/
● https://digitalfuturesociety.com/es/report/exploring-gender-
responsive-designs-in-digital-welfare/
26	
TERCERA MESA
¿Cómo diseñar políticas públicas digitales inclusivas desde la participación ciudadana y
la diversidad?
Michael Donaldson
Comisionado de Innovación Tecnológica, Administración Electrónica y Buen Gobierno del
Ayuntamiento de Barcelona. Es Licenciado en Derecho y Máster en Gestión Pública. Ha
trabajado como director de planificación estratégica y servicios centrales en los municipios de
Rubí y Gavà. Experto en temas de gobierno abierto y transparencia y ha publicado varios
artículos y capítulos de gestión pública.
Ismael Peña-López
Director de la Escuela de Administración Pública de Cataluña. Antes, Director General de
Participación Ciudadana y Procesos Electorales en la Generalitat de Cataluña. Experto en el
impacto de las TIC a la sociedad, especialmente en el desarrollo y las instituciones educativas y
políticas.
Judith Membrives
Graduada en Comunicación y Diseño Multimedia con especialización en Investigación por
Diseño Centrado en las personas. Máster de Filosofía para Retos Contemporáneos con mención
Retos Tecnocientíficos y aspirante a doctorado de Sociedad, Tecnología y Cultura. Actualmente
trabaja como técnica de innovación y experiencia de persona usuaria en la agencia de
desarrollo local de Barcelona y como profesora colaboradora del máster universitario de diseño
de interacción y experiencia de personas usuarias.
Thai Jungpanich (Moderadora)
Conectora social con más de 15 años de experiencia apoyando a organizaciones a reducir la
brecha entre gobiernos y sociedad civil a través de redes digitales, diseño estratégico y cultura
colaborativa. Tiene estudios de ingeniería industrial y postgrados en Construcción de Paz,
Desarrollo Internacional y Liderazgo e innovación social. Actualmente, dirige el Hub Espai
Societat Oberta porque le encanta conectar personas, ideas y organizaciones en la defensa de
los Derechos Humanos y la justicia social.
¿Cómo fortalecer el rol de la ciudadanía en el diseño, la implementación, la ejecución y la
evaluación de políticas públicas, en lo general, y de políticas digitales basadas en la Inteligencia
Artificial y en la automatización de decisiones, en lo concreto? Es un tema complejo y poco
accesiblepero es por ello mismo que se organizan jornadas como esta en la que se pretende
democratizar el conocimiento con el objetivo final de que toda la ciudadanía sea capaz de
participar, contribuir y vigilar el uso de estas tecnologías.
27	
En esta última mesa se busca, junto a representantes de la administración pública y del
activismo digital, reflexionar sobre cómo hacer que en la toma de decisiones del ámbito
digital no solo participen expertos tecnológicos. ¿Cómo abrir el espacio a personas,
colectivos y organizaciones sociales, expertas en derechos humanos, en discriminación, en
racismo y a voces interdisciplinares con diferentesorígenes, géneros, ideologias y creencias?
Que las políticas digitalessean diversas e inclusivas depende en gran medida de que también lo
sean las personas implicadas en su proceso de diseño, elaboración e implementación.
Judith Membrives
La comunidad Algoritghts surge de la voluntad de más de medio centenar de personas de velar
por el cumplimiento de los Derechos Humanos en el desarrollo y aplicación de las
tecnologías de Inteligencia Artificial.
La inteligencia artificial presenta unos retos sin precedentes en materia de derechos y la
sociedad civil debe estar representada no sólo en el debate acerca de la aplicación de estas
tecnologías, sino que también en los procesos de decisión acerca de su diseño, su
implementación y su evaluación.
“Nuestro objetivo principal es promover la democratización del acceso, creación y aplicación del
conocimiento de la I.A con un enfoque puesto en los derechos humanos”
La mayoría de opciones para hacer la Inteligencia Artificial más justa se suelen plantear desde
perspectivas tecnosolucionistas: intentan solucionar problemas sociales mediante la
técnica, dejando de lado los problemas estructurales de la sociedad.
La comunidad Algorights pone el foco en cuatro aspectos: transparencia, rendición de
cuentas, justicia social y participación ciudadana. Este último aspecto genera debate por
sus múltiples interpretaciones, pero en este caso se refiere a la participación entendida como
la necesidad de incorporar la voz y la experiencia de las diferentes sensibilidades que
existen en la sociedad civil en el desarrollo específico de la IA, desde organizaciones
multisectoriales a las comunidades afectadas por los sistemas automatizados.
Los enfoques sensibles a las diferentes realidades sociales son indispensables para conseguir
que la tecnología de análisis automatizados dé resultados más precisos y cercanos a la
realidad. Por ejemplo, en el seguimiento que se hizo de los móviles para el estudio del Gobierno
español acerca de la movilidad y el trabajo, no se tuvo en ningún momento en cuenta la
existencia de trabajos precarizados fuera del ámbito del horario de oficina, normalmente
indicativo de condiciones laborales más privilegiadas, ni tampoco se consideró el eterno
invisibilizado trabajo de cuidados. Es evidente que existe la necesidad de cuestionar cómo se
están tomando las decisiones acerca de qué datos recoger.
28	
Hoy en día, la narrativa ética en el campo de la IA se está llevando a cabo generalmente
por personas tecnólogas, por empresas del sector TIC y en ocasiones por algún perfil más
humanista. Se obvian las organizaciones de la sociedad civil y a la ciudadanía. Por eso
esindispensable crear infraestructuras de participación y debate en las que se amplíe la
variedad de voces y perspectivas. Sin embargo, aunque la administración pública parece
hacer esfuerzos crecientes en la buena dirección, existe una falta de cocreación de políticas
públicas con las personas, más allá del personal técnico y administrativo.
Otro problema clave es que el foco actual sobre el desarrollo de la inteligencia artificial se pone
sobre la ética, y los derechos humanos no tienen normalmente un espacio propio. Quién
podría darle ese enfoque, sin embargo, no se ve capaz. Las organizaciones de derechos
humanos tienen poco conocimiento acerca de la IA, lo cual enlaza con el siguiente problema
planteado, que es la falta generalizada de conocimiento y divulgación sobre inteligencia
artificial y derechos humanos.
No se cuestiona la necesidad de implantar sistemas de inteligencia artificial porque se da por
hecho que existe una necesidad de automatizar procesos. Es necesario divulgar y comunicar
para crear nuevos marcos cohesionados y compartidos acerca de la inteligencia artificial, así
como fomentar el pensamiento crítico acerca del desarrollismo y el progreso asociado a
la automatización.
Propuestas de Algorights
● Romper con la idea de que sólo los perfiles tecnológicos tienen derecho a opinar y
decidir acerca de la inteligencia artificial e incorporar conceptos sociotécnicos en el
debate y en la concepción de políticas.
● Buscar metodologías y espacios que permitan a la ciudadanía participar en el
desarrollo de estos sistemas, más allá de los buzones abiertos, teniendo en cuenta las
características de cada comunidad.
● La participación debe tener lugar en todo el proceso: conceptualización,
modelamiento, entrenamiento, implementación, monitorización de resultados… de forma
iterativa e ilimitada en el tiempo.
● Empoderar a las organizaciones civiles y a la ciudadanía para que se sientan
interpeladas a la participación en estos debates. Las primeras son expertas y garantes
de los DDHH y las que vigilan su cumplimiento, por lo que deben liderar esa defensa en
el ámbito digital.
● Facilitar la comprensión de la influencia de la IA en la vida diaria y las posibles
vulneraciones en materia de derechos. La formación en Inteligencia Artificial no pasa por
tomar clases magistrales con un enfoque técnico sobre su funcionamiento, sino por
entender sus implicaciones directas y cotidianas, orientándose a posibles
vulneraciones de derechos que pueden afectar a distintos colectivos.
● Comprender que la brecha digital no sólo afecta al acceso a la tecnología, sino
también al conocimiento.
29	
“Si te hablan de código, tú háblales de derechos”
Es imperativo tender puentes para pasar a la acción en la construcción de una Inteligencia
Artificial más justa y aliada de los Derechos Humanos
Michael Donaldson
Desde el 2020 se está viviendo un cambio de época, con una digitalización acelerada por la
pandemia y el confinamiento. Algunos de los efectos de la digitalización son muy positivos, pero
a la vez hay aspectos de las disrupciones tecnológicas que también son negativos.
Teniendo en cuenta las oportunidades y los peligros, en el Ayuntamiento de Barcelona se ha
querido utilizar la tecnología como instrumento, nunca como fin, para ir mejorando los
servicios y políticas públicas, para mejorar la calidad de vida de los ciudadanos y ciudadanas
de Barcelona.
Sólo en los últimos 20 años ha habido tantas disrupciones tecnológicas y digitales como en
toda la historia de la humanidad en su conjunto. El potencial es enorme, pero es indispensable
dotarnos de estrategias sobre hacia dónde dirigir estas tecnologías. Esa idea es la que llevó al
pleno del ayuntamiento, en junio del año anterior, a aprobar una declaración para impulsar la
ética, preservar los Derechos Humanos y luchar contra las discriminaciones en las
tecnologías emergentes.
El objetivo de utilizar la inteligencia artificial en el Ayuntamiento de Barcelona es disponer de
una tecnología que puede permitir la mejora de las políticas públicas y de los servicios
públicos, para llegar de una manera más directa, más eficiente, más personalizada y garantizar
los derechos y servicios digitales digitales.
Uno de estos ejemplos parte de un dato alarmante: en la Unión Europea, un 30% de la
ciudadanía potencialmente beneficiaria de las ayudas públicas no accede a estas ayudas por
falta de conocimiento. No se trata sólo de una preocupante ineficiencia de estas prestaciones,
sino que, como prestaciones orientadas a preservar el Estado de bienestar que son, sus
problemas de ineficacia pueden afectar la calidad de vida y las necesidades de las
personas.
Hay que ir de la administración reactiva a la administración proactiva. La administración
proactiva consistiría en que, a partir de los datos consentidos de los ciudadanos, la inteligencia
artificial nos llevaría directamente a los ciudadanos y ciudadanas que cumpliesen el perfil para
ofrecerles los servicios y las ayudas a las que son candidatos y no esperar a que las
soliciten de una manera reactiva.
Privacidad en la administración
Es importante preservar la privacidad y los derechos relacionados con la identidad de la
ciudadanía, más allá del Reglamento Europeo de Protección de Datos (RGPD). Especialmente
porque existe una cierta resistencia de los ciudadanos a que las administraciones públicas
30	
gestionen los datos de la ciudadanía, y desactivar esa resistencia requiere confianza. Sucedió
hace un año, cuando el INE recabó diez millones de datos de la ciudadanía a través de sus
móviles, de manera anónima y agregada, para mejorar las políticas de movilidad. El tema se
acabó convirtiendo en un debate sobre cómo nos controla la administración pública. ISin
reparos, la ciudadanía de todo el mundo ofrece a diario datos a Google, a Facebook y a todas
las redes sociales y aplicaciones. Pero cuando es la administración pública la que solicita los
datos para mejorar un servicio público, una política pública... aparecen las suspicacias.
Peligros de la IA
Los malos usos de las tecnologías son notorios. Desde las cajas de resonancia que se crean
en Twitter y otras redes sociales que van en detrimento del debate diverso y respetuoso, hasta
el caso de algoritmos creados para manipular el voto, como Cambridge Analytica. Es conocido
que el proceso interno de toma de decisiones de las IA es totalmente opaco (Black Box effect) y
eso complica su comprensión y control. Además, es preferible tener Good Data que Big Data y
existe la discriminación, la vulneración de los derechos y la falta de ética en el uso de
algunos algoritmos. Por todo ello, es inexcusable que se no introduzcan medidas para evitar
ciertos riesgos.
Algunos de los compromisos introducidos en la “Medida de Gobierno de la estrategia municipal
de algoritmos y datos para el impulso ético de la inteligencia artificial”:
● La auditabilidad de los algoritmos en todas las tecnologías usadas en la administración
pública, pero también en las que se subcontraten y que impliquen prestar servicios
públicos
● Disposición de un registro público de algoritmos para consultar qué tipos de usos se dan
en el ámbito de la administración
● Dotación de un Observatorio de Inteligencia Artificial Urbana, conjuntamente con el
CIDOB, Nueva York y Amsterdam para monitorizar potenciales y peligros de la tecnología
● Dotación de un pacto ciudadano por el uso ético y de preservación de los derechos en el
contexto de la inteligencia artificial
● Disposición de Living Labs alrededor o en paralelo a los algunos de los del o de los
softwares que vayamos desarrollando como administración pública
La digitalización ha conllevado grandes mejoras, al día siguiente del confinamiento, muchos
pudimos seguir trabajando o seguir atendiendo nuestras clases o formaciones, pero la brecha
digital sigue siendo un gran desafío. Una parte de la ciudadanía, tras esa gran digitalización,
se vieron más excluidos que antes y el problema ha mutado por lo que harán falta nuevas
políticas públicas para luchar contra él. Nadie debe quedar atrás, sobre todo si queremos que
todo el potencial que representa Internet sea compartido por el conjunto de la
ciudadanía y no sólo por aquellos que se pueden permitir el acceso al uso, a los dispositivos
y especialmente a la alfabetización y capacitación digital.
31	
Ismael Peña-López
Para poder atender realmente a los conceptos de inclusión total o brecha digital, hay que
introducir el del ecosistema de gobernanza pública que nos dé las herramientas que
permitan que todo el mundo tome decisiones que afectan a lo público cada día. Un conjunto
de actores, de espacios e instrumentos, más distribuido y más local, que permita una auténtica
revolución en la participación ciudadana.
“No contemplemos a la administración como a unos señores que han ganado elecciones, están
en la administración y deciden todo para que luego, de vez en cuando, pasen el PDF a la
ciudadanía para que firme o corrija detalles”
Hay que pensar cómo contar con todo el mundo que concurre a una política pública, ya sea de
forma informal o formal, y cómo conseguir que el monopolio de la toma de decisiones
públicas que tiene la Administración, igual que lo tiene de la violencia o de la creación de
leyes, deje de ser un monopolio y se abra y pase a convertirse en una infraestructura, una
plataforma sobre la cual otros actores, más diversos, operan. Dejar de entender la toma de
decisiones públicas como un proceso jerárquico que pasa solamente dentro de las
instituciones, sino como un ecosistema que además muchas veces funciona en el régimen
informal, a pie de calle.
Convertir esos espacios y sus intervenciones en política, capitalizar e institucionalizar los
debates que se desarrollen, pasa por ver cómo el ciclo de la política pública incorpora esta
concurrencia de diferentes actores, delimitando en cada fase qué va a pasar: cuando toca
definir la problemática, cuándo se pasa al diagnóstico, cuándo deliberar, hacer propuestas y
decidir, y en cada caso dejando bien claro de qué se está hablando.
También es imprescindible que la Administración incorpore lógicas deliberativas desde la
deliberación o del diagnóstico de la problemática hasta la evaluación final, asegurando por
el camino, también, que la comunicación entre departamentos sea fluida, que no es sencillo.
Las herramientas para estos procesos deliberativos y participativos tienen muchas formas:
consejos ciudadanos, asambleas ciudadanas, iniciativas legislativas populares, consultas no
refrendarias, etcétera, y hay que intentar que exista la máxima flexibilidad y apertura en la
composición de sus participantes.
Al final, el objetivo del ecosistema de gobernanza pública es crear un grupo motor de cada
proyecto que sea lo más representativo posible, e intentar que llegue un momento en que la
administración se retire totalmente del proceso, que tome el papel que toque en cada
momento. Hay momentos en que la administración tiene que legislar o ejecutar, pero en otros
pasos del proceso sólo debería funcionar como facilitadora, poniendo dinero, o información.
32	
Propuestas de desarrollo
¿Cómo conseguir ese ecosistema de gobernanza pública?
1- Por una parte, hay que articularlo para que todos los actores se sienten en la misma
mesa. Hace cinco años que está en funcionamiento la red de gobiernos transparentes, de la
cual forman parte la Generalitat, las diputaciones y varios consorcios y asociaciones del mundo
local para alinear estrategias. No se trata de que todos hagan lo mismo o que se coordinen del
todo, sino de conseguir ese trabajo distribuido en el que cada uno va a sumar por su parte.
2- Debe basarse en redes que actúen de plataforma, como participacatalunya.cat, donde todos
los actores que trabajan en participación intercambian conocimiento, datos, información, estén
informados sobre qué acciones formativas, formales o informales hay en el entorno y sobre
todo, que incluyan comunidades de práctica y de aprendizaje que trabajen juntas. Un
portal que tenga personas dinamizando, aportando la información necesaria en cada paso y la
metodología de deliberación, etcétera.
3- El concepto se apoya también con herramientas como la comunidad Decidim, una gran
plataforma que precisamente permite abrir el monopolio de la toma decisiones públicas
para democratizarlas. Su software lo puede utilizar cualquiera: la administración, por
supuesto, pero también una cooperativa de agroconsumo, una federación de vecinos, un
sindicato o un partido político.
4- Con el fin de acercarlo más a la ciudadanía, haciendo frente a retos como la brecha digital y
la necesidad de llegar a la gente que nunca va a participar porque no se siente
interpelada, o no se siente acompañada, existe el proyecto Participa Lab. Su idea es que 1500
equipamientos públicos que hay en toda Cataluña, que ya cuentan con un contacto muy
estrecho con los ciudadanos (bibliotecas, telecentros, centros cívicos, Fab Labs, etcétera),
puedan incorporar una capa de innovación ciudadana, de innovación democrática, para facilitar
que todo el mundo se sume a la participación.
5- Formación tanto en escuelas como en entidades del Tercer Sector Social para
democratizarse, para que las primeras puedan ser una palanca de democratización y las
segundas, especialmente aquellas entidades que trabajan con un público destinatario que
muchas veces tiene que codefinir los servicios que van a recibir, democraticen sus estructuras
internas.
CONCLUSIONES
Cuando hablamos de participación, muchos miran a la administración, lo cual es lógico, pero la
experiencia nos cuenta que lo que funciona es lo básico, es decir, cuidar la comunidad. La
administración tiene que cuidar a la ciudadanía, pero la organización tiene que cuidar a
sus bases, tenerlas informadas y movilizadas, y democratizarse. Hay que conseguir que las
estrategias para fomentar las políticas públicas digitales se construyan siempre de abajo hacia
33	
arriba, pero para hacer incidencia en la administración o entre el público en general es mucho
más fácil si se incluye, escucha y articula la comunidad.
Asimismo, las organizaciones sociales también deben reclamar su espacio y su papel en esta
revolución digital. Sobre todo porque, al final, la democracia es tomar decisiones y si cada
vez se automatizan más, lo que estamos haciendo es empobrecerla.
ANEXOS
Preguntas y reflexiones
¿Existe el riesgo de "culpabilizar" a las comunidades vulnerables por no participar
activamente en los procesos de co-creación? (dada su propia vulnerabilidad, a no ser que
sea de forma profesional)
En realidad, no se busca que la gente participe, ya que es un proceso que toma mucho tiempo y
es pesado. El tema es cómo incorporar a estas personas en el día a día del diseño de las
políticas. No se trata de esperar a que las personas, que son quienes conocen de más de cerca
las problemáticas sociales cotidianas, se acerquen al Ayuntamiento y trabajen en proyectos de
participación que incluyan dinámicas con notas adhesivas, que un punto de contacto, una
persona cercana, se acerque ahí donde viven e interactúan, para escuchar sus opiniones. Llegar
ahí donde los ciudadanos ya están deliberando con sus acciones, decisiones e ideas.
Se habla de la accesibilidad, de cómo acceder a los colectivos más precarizados,
vulnerabilizados y más afectados por la brecha digital, pero la cuestión es cómo llegar allí donde
están ellos. Muchos estudios demuestran que dentro de las estructuras de participación
actuales se replica las estructuras sociales, es decir: existen una serie de privilegios y
situaciones interseccionales que dificultan la participación plena de todos los colectivos. No se
trata de hacer que la administración se vuelva más accesible, sino que sea la administración
quien vaya a buscar estas personas y sus realidades.
La administración debe ser proactiva, pero la política también. Las instituciones se tienen que
abrir y acercarse, multiplicando todo tipo de metodologías, canales, espacios, como el proyecto
“Decidim”. Hay diferentes niveles de implicación que se pueden facilitar según el tiempo, la
dedicación o el compromiso invertidos. Hay gente que ya se siente implicada a través de un
presupuesto participativo o con una propuesta, otros con el simple voto en una consulta, por
tanto, deben abrirse multitud de canales y opciones de participación.
¿Qué estrategias de interpelación de la sociedad civil, organizaciones y comunidades se
tiene pensado llevar a cabo para romper ese “techo de cristal techie”?
El secreto está en ver dónde está la gente y hacer llegar allí los recursos de deliberación y
participación, donde cada actor aporta lo que tiene para posibilitar el proceso distribuido. En el
caso de la administración, que facilite el dinero, el conocimiento, las personas, los espacios
34	
físicos y transportes… para luego entrar cuando se llegue a consensos. Que la oportunidad de
deliberar aparezca en entornos cívicos y sociales que ya están en uso. Abaratar la participación
en términos de coste-beneficio personal para conseguir que, sobre todo, la gente se vea
interpelada.
El problema es la “caja negra” que supone para la mayoría de la sociedad la Inteligencia Artificial
o todo lo que está relacionado con la digitalización. En una charla reciente sobre Inteligencia
Artificial y algoritmos en una escuela se comprobó que los algoritmos, en su uso para la
recomendación de contenidos, son vistos de forma positiva, pero la percepción cambiaba
cuando era explicado el caso de algoritmos que pretendían decidir de forma automática la
puntuación de exámenes en el Reino Unido. Este pequeño ejemplo demuestra la necesidad de
explicar llanamente qué afectaciones tienen estos sistemas en el día a día de las personas
afectadas. Es imprescindible hacer un esfuerzo extra en buscar ejemplos y referentes cercanos,
contextualizar la comunicación a las casuísticas más próximas de los interlocutores, para
entonces transmitir los conceptos de forma más eficaz
¿El registro de algoritmos incluirá el código fuente de los algoritmos en cumplimiento de
su medida de gobierno sobre código abierto y respetando el concepto de “public money,
public code”?
Todos los algoritmos serán auditables, los del registro público también, especialmente los que
se desarrollen desde el Ayuntamiento. El concepto de “public money, public code” se intenta
seguir, pero no se cumple al 100%., ya que existen colaboradores privados con los que hay que
convivir para dotar de ciertas infraestructuras. Lo más importante es que cuando se preste un
servicio público los derechos de las personas estén garantizados, que haya la máxima
transparencia y que los algoritmos se puedan auditar.
Enlaces relacionados de interés 3ª mesa
● L’Estat com a plataforma: la participació ciutadana per la
preservació de l’Estat com a bé comú:
https://ictlogy.net/bibliography/reports/projects.php?idp=3935
● El ecosistema de gobernanza público:
https://ictlogy.net/bibliography/reports/projects.php?idp=4256

Recomendados

Cultura y educación
Cultura y educaciónCultura y educación
Cultura y educaciónlauraback18
 
Historia de la inteligencia artificial
Historia de la inteligencia artificialHistoria de la inteligencia artificial
Historia de la inteligencia artificialEly Sanchez Camacho
 
La inteligencia artificial y su impacto en el futuro.
La inteligencia artificial y su impacto en el futuro.La inteligencia artificial y su impacto en el futuro.
La inteligencia artificial y su impacto en el futuro.Universidad de Panamá
 
Tecnologia en adultos mayores
Tecnologia en adultos mayoresTecnologia en adultos mayores
Tecnologia en adultos mayoresMari Paz Vargas
 
Inteligencia artificial
Inteligencia artificialInteligencia artificial
Inteligencia artificialcjemima
 
Inteligencia artificial
Inteligencia artificialInteligencia artificial
Inteligencia artificialxvc1234
 
Revolucion informatica
Revolucion informaticaRevolucion informatica
Revolucion informaticaYor0531
 
Inteligencia artificial.
Inteligencia artificial.Inteligencia artificial.
Inteligencia artificial.José María
 

Más contenido relacionado

Similar a Relatoría Jornada Inteligencia Artificial y DDHH

Sociedad de la información imprimir
Sociedad de la información imprimirSociedad de la información imprimir
Sociedad de la información imprimirirene209c
 
Tecnologías accesibles. Personas con discapacidad.
Tecnologías accesibles. Personas con discapacidad.Tecnologías accesibles. Personas con discapacidad.
Tecnologías accesibles. Personas con discapacidad.José María
 
Estrategias de-búsqueda
Estrategias de-búsquedaEstrategias de-búsqueda
Estrategias de-búsquedaKaren Ortiz
 
Tecnologías de la sociedad de la información para todos.
Tecnologías de la sociedad de la información para todos.Tecnologías de la sociedad de la información para todos.
Tecnologías de la sociedad de la información para todos.José María
 
La relación jóvenes-TIC
La relación jóvenes-TICLa relación jóvenes-TIC
La relación jóvenes-TICIvanSalinas30
 
Etica de la informacion
Etica de la informacionEtica de la informacion
Etica de la informacionMaria Corobo
 
Artículo de divugación
Artículo de divugaciónArtículo de divugación
Artículo de divugaciónyulissey
 
TrendSpain: Un recorrido por las tendencias (eBook. v2)
TrendSpain: Un recorrido por las tendencias (eBook. v2)TrendSpain: Un recorrido por las tendencias (eBook. v2)
TrendSpain: Un recorrido por las tendencias (eBook. v2)trendspain
 
Ética y Revolución Digital . revista Diecisiete nº 4. 2021
Ética y Revolución Digital . revista Diecisiete nº 4. 2021Ética y Revolución Digital . revista Diecisiete nº 4. 2021
Ética y Revolución Digital . revista Diecisiete nº 4. 2021eraser Juan José Calderón
 
Culturadigital mayo22del 2012convertido
Culturadigital mayo22del 2012convertidoCulturadigital mayo22del 2012convertido
Culturadigital mayo22del 2012convertidoirenindy10
 
Culturadigital mayo22del 2012convertido
Culturadigital mayo22del 2012convertidoCulturadigital mayo22del 2012convertido
Culturadigital mayo22del 2012convertidomaestralauraceibal2012
 
Culturadigital mayo22del 2012 Chajá
Culturadigital mayo22del 2012 ChajáCulturadigital mayo22del 2012 Chajá
Culturadigital mayo22del 2012 ChajáNatalia Esposito
 

Similar a Relatoría Jornada Inteligencia Artificial y DDHH (20)

Sociedad de la información imprimir
Sociedad de la información imprimirSociedad de la información imprimir
Sociedad de la información imprimir
 
Educa chile
Educa chileEduca chile
Educa chile
 
Tecnologías accesibles. Personas con discapacidad.
Tecnologías accesibles. Personas con discapacidad.Tecnologías accesibles. Personas con discapacidad.
Tecnologías accesibles. Personas con discapacidad.
 
Estrategias de-búsqueda
Estrategias de-búsquedaEstrategias de-búsqueda
Estrategias de-búsqueda
 
Informe completo
Informe completoInforme completo
Informe completo
 
Tecnologías de la sociedad de la información para todos.
Tecnologías de la sociedad de la información para todos.Tecnologías de la sociedad de la información para todos.
Tecnologías de la sociedad de la información para todos.
 
La relación jóvenes-TIC
La relación jóvenes-TICLa relación jóvenes-TIC
La relación jóvenes-TIC
 
Etica de la informacion
Etica de la informacionEtica de la informacion
Etica de la informacion
 
E ciudadanía y desarrollo humano tics
E ciudadanía y desarrollo humano tics E ciudadanía y desarrollo humano tics
E ciudadanía y desarrollo humano tics
 
Artículo de divugación
Artículo de divugaciónArtículo de divugación
Artículo de divugación
 
TrendSpain: Un recorrido por las tendencias (eBook. v2)
TrendSpain: Un recorrido por las tendencias (eBook. v2)TrendSpain: Un recorrido por las tendencias (eBook. v2)
TrendSpain: Un recorrido por las tendencias (eBook. v2)
 
clase44.pptx
clase44.pptxclase44.pptx
clase44.pptx
 
El fin de lo efimero
El fin de lo efimeroEl fin de lo efimero
El fin de lo efimero
 
Trabajo 1
Trabajo 1Trabajo 1
Trabajo 1
 
Ética y Revolución Digital . revista Diecisiete nº 4. 2021
Ética y Revolución Digital . revista Diecisiete nº 4. 2021Ética y Revolución Digital . revista Diecisiete nº 4. 2021
Ética y Revolución Digital . revista Diecisiete nº 4. 2021
 
Culturadigital mayo22del 2012convertido
Culturadigital mayo22del 2012convertidoCulturadigital mayo22del 2012convertido
Culturadigital mayo22del 2012convertido
 
Culturadigital mayo22del 2012convertido
Culturadigital mayo22del 2012convertidoCulturadigital mayo22del 2012convertido
Culturadigital mayo22del 2012convertido
 
Culturadigital mayo22del 2012convertido
Culturadigital mayo22del 2012convertidoCulturadigital mayo22del 2012convertido
Culturadigital mayo22del 2012convertido
 
Culturadigital mayo22del 2012 Chajá
Culturadigital mayo22del 2012 ChajáCulturadigital mayo22del 2012 Chajá
Culturadigital mayo22del 2012 Chajá
 
Culturadigital.pps 5
Culturadigital.pps 5Culturadigital.pps 5
Culturadigital.pps 5
 

Más de m4Social

Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...
Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...
Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...m4Social
 
AssistData MWC2023
AssistData MWC2023AssistData MWC2023
AssistData MWC2023m4Social
 
Turas Care Management
Turas Care ManagementTuras Care Management
Turas Care Managementm4Social
 
Presentació Drets Socials Generalitat de Catalunya al Mobile World Congress 2023
Presentació Drets Socials Generalitat de Catalunya al Mobile World Congress 2023Presentació Drets Socials Generalitat de Catalunya al Mobile World Congress 2023
Presentació Drets Socials Generalitat de Catalunya al Mobile World Congress 2023m4Social
 
Presentació Social Digital Lab Suara
Presentació Social Digital Lab SuaraPresentació Social Digital Lab Suara
Presentació Social Digital Lab Suaram4Social
 
Presentació Dinder Club
Presentació Dinder ClubPresentació Dinder Club
Presentació Dinder Clubm4Social
 
Digitalisation Social Services Europe
Digitalisation Social Services EuropeDigitalisation Social Services Europe
Digitalisation Social Services Europem4Social
 
PROPOSTES DE LES ENTITATS SOCIALS PER LA SIMPLIFICACIÓ EN L’ADMINISTRACIÓ PÚB...
PROPOSTES DE LES ENTITATS SOCIALS PER LA SIMPLIFICACIÓ EN L’ADMINISTRACIÓ PÚB...PROPOSTES DE LES ENTITATS SOCIALS PER LA SIMPLIFICACIÓ EN L’ADMINISTRACIÓ PÚB...
PROPOSTES DE LES ENTITATS SOCIALS PER LA SIMPLIFICACIÓ EN L’ADMINISTRACIÓ PÚB...m4Social
 
Simplificació dels processos administratius vinculats a convocatòries de fina...
Simplificació dels processos administratius vinculats a convocatòries de fina...Simplificació dels processos administratius vinculats a convocatòries de fina...
Simplificació dels processos administratius vinculats a convocatòries de fina...m4Social
 
PRESENTACIÓ DE L'INFORME SOBRE LA DIGITALITZACIÓ I LA SIMPLIFICACIÓ DELS PR...
PRESENTACIÓ DE L'INFORME  SOBRE LA DIGITALITZACIÓ I LA SIMPLIFICACIÓ  DELS PR...PRESENTACIÓ DE L'INFORME  SOBRE LA DIGITALITZACIÓ I LA SIMPLIFICACIÓ  DELS PR...
PRESENTACIÓ DE L'INFORME SOBRE LA DIGITALITZACIÓ I LA SIMPLIFICACIÓ DELS PR...m4Social
 
MWC22 - BCN Inclusive Coding
MWC22 - BCN Inclusive CodingMWC22 - BCN Inclusive Coding
MWC22 - BCN Inclusive Codingm4Social
 
MWC22 - ‘Promoción de la autonomía personal e inclusión social a través de la...
MWC22 - ‘Promoción de la autonomía personal e inclusión social a través de la...MWC22 - ‘Promoción de la autonomía personal e inclusión social a través de la...
MWC22 - ‘Promoción de la autonomía personal e inclusión social a través de la...m4Social
 
MWC22 - ARI: Assistent Robòtic Intel·ligent
MWC22 - ARI: Assistent Robòtic Intel·ligentMWC22 - ARI: Assistent Robòtic Intel·ligent
MWC22 - ARI: Assistent Robòtic Intel·ligentm4Social
 
MWC22 - CoActuem per la salut mental
MWC22 - CoActuem per la salut mentalMWC22 - CoActuem per la salut mental
MWC22 - CoActuem per la salut mentalm4Social
 
Presentació sobre l'Estudi de l'estat de la digitalització al Tercer Sector
Presentació sobre l'Estudi de l'estat de la digitalització al Tercer SectorPresentació sobre l'Estudi de l'estat de la digitalització al Tercer Sector
Presentació sobre l'Estudi de l'estat de la digitalització al Tercer Sectorm4Social
 
Estudi sobre l'estat de la digitalització al Tercer Sector
Estudi sobre l'estat de la digitalització al Tercer SectorEstudi sobre l'estat de la digitalització al Tercer Sector
Estudi sobre l'estat de la digitalització al Tercer Sectorm4Social
 
What is data poverty
What is data povertyWhat is data poverty
What is data povertym4Social
 
INTERNET, DRET FONAMENTAL: PROPOSTES PER REDUIR LA BRETXA DIGITAL I SOCIAL.
INTERNET, DRET FONAMENTAL: PROPOSTES PER REDUIR LA BRETXA DIGITAL I SOCIAL.INTERNET, DRET FONAMENTAL: PROPOSTES PER REDUIR LA BRETXA DIGITAL I SOCIAL.
INTERNET, DRET FONAMENTAL: PROPOSTES PER REDUIR LA BRETXA DIGITAL I SOCIAL.m4Social
 
INTERNET, DRET FONAMENTAL: PROPOSTES PER A REDUIR LA BRETXA DIGITAL I SOCIAL
INTERNET, DRET FONAMENTAL: PROPOSTES PER A REDUIR LA BRETXA DIGITAL I SOCIALINTERNET, DRET FONAMENTAL: PROPOSTES PER A REDUIR LA BRETXA DIGITAL I SOCIAL
INTERNET, DRET FONAMENTAL: PROPOSTES PER A REDUIR LA BRETXA DIGITAL I SOCIALm4Social
 
Programa m4Social day: Internet, dret fonamental
Programa m4Social day: Internet, dret fonamentalPrograma m4Social day: Internet, dret fonamental
Programa m4Social day: Internet, dret fonamentalm4Social
 

Más de m4Social (20)

Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...
Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...
Radar d'algoritmes d'IA i processos de decisió automatitzada per a l'accés al...
 
AssistData MWC2023
AssistData MWC2023AssistData MWC2023
AssistData MWC2023
 
Turas Care Management
Turas Care ManagementTuras Care Management
Turas Care Management
 
Presentació Drets Socials Generalitat de Catalunya al Mobile World Congress 2023
Presentació Drets Socials Generalitat de Catalunya al Mobile World Congress 2023Presentació Drets Socials Generalitat de Catalunya al Mobile World Congress 2023
Presentació Drets Socials Generalitat de Catalunya al Mobile World Congress 2023
 
Presentació Social Digital Lab Suara
Presentació Social Digital Lab SuaraPresentació Social Digital Lab Suara
Presentació Social Digital Lab Suara
 
Presentació Dinder Club
Presentació Dinder ClubPresentació Dinder Club
Presentació Dinder Club
 
Digitalisation Social Services Europe
Digitalisation Social Services EuropeDigitalisation Social Services Europe
Digitalisation Social Services Europe
 
PROPOSTES DE LES ENTITATS SOCIALS PER LA SIMPLIFICACIÓ EN L’ADMINISTRACIÓ PÚB...
PROPOSTES DE LES ENTITATS SOCIALS PER LA SIMPLIFICACIÓ EN L’ADMINISTRACIÓ PÚB...PROPOSTES DE LES ENTITATS SOCIALS PER LA SIMPLIFICACIÓ EN L’ADMINISTRACIÓ PÚB...
PROPOSTES DE LES ENTITATS SOCIALS PER LA SIMPLIFICACIÓ EN L’ADMINISTRACIÓ PÚB...
 
Simplificació dels processos administratius vinculats a convocatòries de fina...
Simplificació dels processos administratius vinculats a convocatòries de fina...Simplificació dels processos administratius vinculats a convocatòries de fina...
Simplificació dels processos administratius vinculats a convocatòries de fina...
 
PRESENTACIÓ DE L'INFORME SOBRE LA DIGITALITZACIÓ I LA SIMPLIFICACIÓ DELS PR...
PRESENTACIÓ DE L'INFORME  SOBRE LA DIGITALITZACIÓ I LA SIMPLIFICACIÓ  DELS PR...PRESENTACIÓ DE L'INFORME  SOBRE LA DIGITALITZACIÓ I LA SIMPLIFICACIÓ  DELS PR...
PRESENTACIÓ DE L'INFORME SOBRE LA DIGITALITZACIÓ I LA SIMPLIFICACIÓ DELS PR...
 
MWC22 - BCN Inclusive Coding
MWC22 - BCN Inclusive CodingMWC22 - BCN Inclusive Coding
MWC22 - BCN Inclusive Coding
 
MWC22 - ‘Promoción de la autonomía personal e inclusión social a través de la...
MWC22 - ‘Promoción de la autonomía personal e inclusión social a través de la...MWC22 - ‘Promoción de la autonomía personal e inclusión social a través de la...
MWC22 - ‘Promoción de la autonomía personal e inclusión social a través de la...
 
MWC22 - ARI: Assistent Robòtic Intel·ligent
MWC22 - ARI: Assistent Robòtic Intel·ligentMWC22 - ARI: Assistent Robòtic Intel·ligent
MWC22 - ARI: Assistent Robòtic Intel·ligent
 
MWC22 - CoActuem per la salut mental
MWC22 - CoActuem per la salut mentalMWC22 - CoActuem per la salut mental
MWC22 - CoActuem per la salut mental
 
Presentació sobre l'Estudi de l'estat de la digitalització al Tercer Sector
Presentació sobre l'Estudi de l'estat de la digitalització al Tercer SectorPresentació sobre l'Estudi de l'estat de la digitalització al Tercer Sector
Presentació sobre l'Estudi de l'estat de la digitalització al Tercer Sector
 
Estudi sobre l'estat de la digitalització al Tercer Sector
Estudi sobre l'estat de la digitalització al Tercer SectorEstudi sobre l'estat de la digitalització al Tercer Sector
Estudi sobre l'estat de la digitalització al Tercer Sector
 
What is data poverty
What is data povertyWhat is data poverty
What is data poverty
 
INTERNET, DRET FONAMENTAL: PROPOSTES PER REDUIR LA BRETXA DIGITAL I SOCIAL.
INTERNET, DRET FONAMENTAL: PROPOSTES PER REDUIR LA BRETXA DIGITAL I SOCIAL.INTERNET, DRET FONAMENTAL: PROPOSTES PER REDUIR LA BRETXA DIGITAL I SOCIAL.
INTERNET, DRET FONAMENTAL: PROPOSTES PER REDUIR LA BRETXA DIGITAL I SOCIAL.
 
INTERNET, DRET FONAMENTAL: PROPOSTES PER A REDUIR LA BRETXA DIGITAL I SOCIAL
INTERNET, DRET FONAMENTAL: PROPOSTES PER A REDUIR LA BRETXA DIGITAL I SOCIALINTERNET, DRET FONAMENTAL: PROPOSTES PER A REDUIR LA BRETXA DIGITAL I SOCIAL
INTERNET, DRET FONAMENTAL: PROPOSTES PER A REDUIR LA BRETXA DIGITAL I SOCIAL
 
Programa m4Social day: Internet, dret fonamental
Programa m4Social day: Internet, dret fonamentalPrograma m4Social day: Internet, dret fonamental
Programa m4Social day: Internet, dret fonamental
 

Último

Ley de Delitos Informaticos y su aplicación en el sector privado.pptx
Ley de Delitos Informaticos y su aplicación en el sector privado.pptxLey de Delitos Informaticos y su aplicación en el sector privado.pptx
Ley de Delitos Informaticos y su aplicación en el sector privado.pptxBasile
 
Carta de trabajo para los empleados.docx.pdf
Carta de trabajo para los empleados.docx.pdfCarta de trabajo para los empleados.docx.pdf
Carta de trabajo para los empleados.docx.pdfEmanuelminotta
 
VIDEOS DE APOYO PARA TECNOLOGIA LICEO DEP
VIDEOS DE APOYO PARA TECNOLOGIA LICEO DEPVIDEOS DE APOYO PARA TECNOLOGIA LICEO DEP
VIDEOS DE APOYO PARA TECNOLOGIA LICEO DEPAlejandraCasallas7
 
VIDEOS DE APOYO, RESUMENES PARA CREAR UN BLOG 9-5
VIDEOS DE APOYO, RESUMENES PARA CREAR UN BLOG  9-5VIDEOS DE APOYO, RESUMENES PARA CREAR UN BLOG  9-5
VIDEOS DE APOYO, RESUMENES PARA CREAR UN BLOG 9-5sarayibanez16
 
Mapa conceptual de las Comunidades virtuales
Mapa conceptual de las Comunidades virtualesMapa conceptual de las Comunidades virtuales
Mapa conceptual de las Comunidades virtualesEstefanía López
 
VIDEOS DE APOYO PARA CREAR UN BLOG Y COMO SUBIR COSAS A EL DESDE SLIDESHARE
VIDEOS DE APOYO PARA CREAR UN BLOG Y COMO SUBIR COSAS A EL DESDE SLIDESHAREVIDEOS DE APOYO PARA CREAR UN BLOG Y COMO SUBIR COSAS A EL DESDE SLIDESHARE
VIDEOS DE APOYO PARA CREAR UN BLOG Y COMO SUBIR COSAS A EL DESDE SLIDESHAREaljitagallego
 
Sentencia Tribunal Ambiental Data Center de Google
Sentencia Tribunal Ambiental Data Center de GoogleSentencia Tribunal Ambiental Data Center de Google
Sentencia Tribunal Ambiental Data Center de GoogleFelipe Ovalle
 
Índice de libro "Historias Cortas sobre Fondo Azul" de Willy en 0xWord
Índice de libro "Historias Cortas sobre Fondo Azul" de Willy en 0xWordÍndice de libro "Historias Cortas sobre Fondo Azul" de Willy en 0xWord
Índice de libro "Historias Cortas sobre Fondo Azul" de Willy en 0xWordTelefónica
 
Situación comparativa de los Ferrocarriles en el mundo y en Colombia
Situación comparativa de los Ferrocarriles en el mundo y en ColombiaSituación comparativa de los Ferrocarriles en el mundo y en Colombia
Situación comparativa de los Ferrocarriles en el mundo y en ColombiaEnrique Posada
 
Taller crear carta de correspondencia.docx.pdf
Taller crear carta de correspondencia.docx.pdfTaller crear carta de correspondencia.docx.pdf
Taller crear carta de correspondencia.docx.pdfSEBASTIANMICOLTA
 
Taller 1 sobre operadores tecnologicos.pdf
Taller 1 sobre operadores tecnologicos.pdfTaller 1 sobre operadores tecnologicos.pdf
Taller 1 sobre operadores tecnologicos.pdfAna Lucía Tellez Lugo
 
Realiza tu primera contribucion a la OCA
Realiza tu primera contribucion a la OCARealiza tu primera contribucion a la OCA
Realiza tu primera contribucion a la OCAMaxime Chambreuil
 
marketing RPA 2024 es una coleccion de casos de uso
marketing RPA 2024 es una coleccion de casos de usomarketing RPA 2024 es una coleccion de casos de uso
marketing RPA 2024 es una coleccion de casos de usoncastagno
 
Carta Word y excel: Primer trabajo tecnología
Carta Word y excel: Primer trabajo tecnologíaCarta Word y excel: Primer trabajo tecnología
Carta Word y excel: Primer trabajo tecnologíaSofiaDiaz692624
 
Certificado de Web Design - Projeto web.
Certificado de Web Design - Projeto web.Certificado de Web Design - Projeto web.
Certificado de Web Design - Projeto web.AntnioOliveira749106
 
VIDEOS DE APOYO PARA LA CREACION DE UN BLOG
VIDEOS DE APOYO PARA LA CREACION DE UN BLOGVIDEOS DE APOYO PARA LA CREACION DE UN BLOG
VIDEOS DE APOYO PARA LA CREACION DE UN BLOGSamuel709479
 
COMBINACIONES CORRESPONDENCIA con base de datos excel
COMBINACIONES CORRESPONDENCIA con base de datos excelCOMBINACIONES CORRESPONDENCIA con base de datos excel
COMBINACIONES CORRESPONDENCIA con base de datos excelSergioPerdomo20
 
VIDEOS DE APOYO- resúmenes de tecnología
VIDEOS DE APOYO- resúmenes de tecnologíaVIDEOS DE APOYO- resúmenes de tecnología
VIDEOS DE APOYO- resúmenes de tecnologíamarianasinisterra200
 
VIDEOS DE APOYO-como subir un documento de slideshare.docx
VIDEOS DE APOYO-como subir un documento de slideshare.docxVIDEOS DE APOYO-como subir un documento de slideshare.docx
VIDEOS DE APOYO-como subir un documento de slideshare.docxsamuelvideos
 

Último (20)

Ley de Delitos Informaticos y su aplicación en el sector privado.pptx
Ley de Delitos Informaticos y su aplicación en el sector privado.pptxLey de Delitos Informaticos y su aplicación en el sector privado.pptx
Ley de Delitos Informaticos y su aplicación en el sector privado.pptx
 
Carta de trabajo para los empleados.docx.pdf
Carta de trabajo para los empleados.docx.pdfCarta de trabajo para los empleados.docx.pdf
Carta de trabajo para los empleados.docx.pdf
 
VIDEOS DE APOYO PARA TECNOLOGIA LICEO DEP
VIDEOS DE APOYO PARA TECNOLOGIA LICEO DEPVIDEOS DE APOYO PARA TECNOLOGIA LICEO DEP
VIDEOS DE APOYO PARA TECNOLOGIA LICEO DEP
 
VIDEOS DE APOYO, RESUMENES PARA CREAR UN BLOG 9-5
VIDEOS DE APOYO, RESUMENES PARA CREAR UN BLOG  9-5VIDEOS DE APOYO, RESUMENES PARA CREAR UN BLOG  9-5
VIDEOS DE APOYO, RESUMENES PARA CREAR UN BLOG 9-5
 
Mapa conceptual de las Comunidades virtuales
Mapa conceptual de las Comunidades virtualesMapa conceptual de las Comunidades virtuales
Mapa conceptual de las Comunidades virtuales
 
VIDEOS DE APOYO PARA CREAR UN BLOG Y COMO SUBIR COSAS A EL DESDE SLIDESHARE
VIDEOS DE APOYO PARA CREAR UN BLOG Y COMO SUBIR COSAS A EL DESDE SLIDESHAREVIDEOS DE APOYO PARA CREAR UN BLOG Y COMO SUBIR COSAS A EL DESDE SLIDESHARE
VIDEOS DE APOYO PARA CREAR UN BLOG Y COMO SUBIR COSAS A EL DESDE SLIDESHARE
 
Sentencia Tribunal Ambiental Data Center de Google
Sentencia Tribunal Ambiental Data Center de GoogleSentencia Tribunal Ambiental Data Center de Google
Sentencia Tribunal Ambiental Data Center de Google
 
Índice de libro "Historias Cortas sobre Fondo Azul" de Willy en 0xWord
Índice de libro "Historias Cortas sobre Fondo Azul" de Willy en 0xWordÍndice de libro "Historias Cortas sobre Fondo Azul" de Willy en 0xWord
Índice de libro "Historias Cortas sobre Fondo Azul" de Willy en 0xWord
 
Situación comparativa de los Ferrocarriles en el mundo y en Colombia
Situación comparativa de los Ferrocarriles en el mundo y en ColombiaSituación comparativa de los Ferrocarriles en el mundo y en Colombia
Situación comparativa de los Ferrocarriles en el mundo y en Colombia
 
Taller crear carta de correspondencia.docx.pdf
Taller crear carta de correspondencia.docx.pdfTaller crear carta de correspondencia.docx.pdf
Taller crear carta de correspondencia.docx.pdf
 
Herramientas tecnologicas para los abogados.pptx
Herramientas tecnologicas para los abogados.pptxHerramientas tecnologicas para los abogados.pptx
Herramientas tecnologicas para los abogados.pptx
 
Taller 1 sobre operadores tecnologicos.pdf
Taller 1 sobre operadores tecnologicos.pdfTaller 1 sobre operadores tecnologicos.pdf
Taller 1 sobre operadores tecnologicos.pdf
 
Realiza tu primera contribucion a la OCA
Realiza tu primera contribucion a la OCARealiza tu primera contribucion a la OCA
Realiza tu primera contribucion a la OCA
 
marketing RPA 2024 es una coleccion de casos de uso
marketing RPA 2024 es una coleccion de casos de usomarketing RPA 2024 es una coleccion de casos de uso
marketing RPA 2024 es una coleccion de casos de uso
 
Carta Word y excel: Primer trabajo tecnología
Carta Word y excel: Primer trabajo tecnologíaCarta Word y excel: Primer trabajo tecnología
Carta Word y excel: Primer trabajo tecnología
 
Certificado de Web Design - Projeto web.
Certificado de Web Design - Projeto web.Certificado de Web Design - Projeto web.
Certificado de Web Design - Projeto web.
 
VIDEOS DE APOYO PARA LA CREACION DE UN BLOG
VIDEOS DE APOYO PARA LA CREACION DE UN BLOGVIDEOS DE APOYO PARA LA CREACION DE UN BLOG
VIDEOS DE APOYO PARA LA CREACION DE UN BLOG
 
COMBINACIONES CORRESPONDENCIA con base de datos excel
COMBINACIONES CORRESPONDENCIA con base de datos excelCOMBINACIONES CORRESPONDENCIA con base de datos excel
COMBINACIONES CORRESPONDENCIA con base de datos excel
 
VIDEOS DE APOYO- resúmenes de tecnología
VIDEOS DE APOYO- resúmenes de tecnologíaVIDEOS DE APOYO- resúmenes de tecnología
VIDEOS DE APOYO- resúmenes de tecnología
 
VIDEOS DE APOYO-como subir un documento de slideshare.docx
VIDEOS DE APOYO-como subir un documento de slideshare.docxVIDEOS DE APOYO-como subir un documento de slideshare.docx
VIDEOS DE APOYO-como subir un documento de slideshare.docx
 

Relatoría Jornada Inteligencia Artificial y DDHH

  • 1. 1 ¡Hola! Este documento es una relatoría de lo que fue la Jornada de Inteligencia Artificial y Derechos Humanos: Riesgos y Oportunidades organizada el pasado 10 de junio de 2021 por el Espai Societat Oberta, Lafede.cat y M4Social. Hemos preparado esta relatoría para que podáis recuperar los contenidos de la jornada, así como las iniciativas y reflexiones que surgieron. Por qué esta jornada Los grandes avances del sector de la inteligencia artificial pueden ser beneficiosos para la promoción e implantación de los Derechos Humanos. Sin embargo, de forma intencionada o no, tienen serias repercusiones en el ejercicio de derechos fundamentales (privacidad, protección datos, libertad de expresión, igualdad ante la ley) y en las condiciones de vida (acceso a educación, salud, vivienda, trabajo, precriminalización por policía predictiva, etc) de todas las personas incluidas las comunidades más oprimidas y vulnerabilizadas a una escala sin precedentes. La tecnología digital puede tener un impacto positivo pero no podemos caer en la visión tecnosolucionista porque los problemas estructurales de nuestra sociedad, como la desigualdad o el racismo, solo podrán revertirse cuestionando las estructuras de poder. Queremos una sociedad protectora y promotora de los Derechos Humanos donde la tecnología sea inclusiva, confiable y transparente y que ponga a las personas en el centro. El objetivo de esta jornada es compartir conocimiento sobre el impacto de la inteligencia artificial en el campo de la justicia social, que las organizaciones sociales incorporen la perspectiva digital a su trabajo de defensa de derechos, y reivindicar la participación activa de la ciudadanía en el diseño, implementación y evaluación de políticas digitales Espai Societat Oberta Un espacio donde poner en común miradas sobre Derechos Humanos, democracia, libertad de expresión, migraciones y discriminación Lafede.cat Red formada por más de 130 organizaciones que promueve la acción colectiva de las entidades afiliadas. Lafede.cat trabaja activamente para conseguir la justicia global y la erradicación de las desigualdades en el mundo. M4Social –Taula del Tercer Sector Proyecto de la Taula Tercer Sector Social de Catalunya que quiere liderar la transformación digital de las entidades del Tercer Sector, así como incidir en la generación de un ecosistema de innovación en el ámbito social.
  • 2. 2 Contenido de la jornada • Por qué esta jornada • Securitización de nuestras vidas en fronteras y ciudades • Exclusión social automatizada. ¿cómo evitarlo? • ¿Cómo diseñar políticas públicas digitales inclusivas desde la participación ciudadana y la diversidad? Raquel Jorge ‘Fulbright Fellow’ y especialista en políticas públicas tecnológicas y digitales y sus implicaciones en gobernanza y estrategia. Actualmente trabaja como consultora asesora para organizaciones públicas, privadas y sociales. Montse Santolino Periodista, comunicadora y activista social. Coordinadora y responsable de comunicación de Lafede.cat. “Cuando se habla de gobernanza tecnológica, no hay que menospreciar la participación de la sociedad civil. Su influencia real debería notarse en el diseño [de políticas digitales], pero también en la negociación y en el seguimiento de sus aplicaciones e impacto, para denunciar y perseguir cualquier incumplimiento.” Raquel Jorge Ricart Las organizaciones sociales participantes en la jornada no son todas expertas en el campo tecnológico, pero pueden llegar a comprender perfectamente los riesgos y oportunidades que supone que una máquina que procesa información también tome decisiones, y por ello participan en esta jornada. Además, su implicación es indispensable. Son ellas las que van a llevar a cabo la incidencia necesaria para exigir que ética, derechos humanos y justicia social estén detrás de cada decisión que implique la actividad de una Inteligencia Artificial. También de que la transformación digital sea una herramienta que mejore la transformación social. Deben comprender y criticar el uso de la IA para evitar que se convierta en otro punto de anclaje del status quo que contribuya a perpetuar o ampliar las problemáticas y desigualdades, y a la vez, convertirla en una verdadera palanca de cambio que las reduzca o elimine. “En el plano de las organizaciones de la sociedad civil, uno de los retos es saber identificar cómo les afecta la inteligencia artificial de forma concreta. Hay que poder bajarlo al terreno, a nivel local, conseguir que una ONG de barrio sepa identificar cómo funciona, y no es fácil. Estas jornadas facilitan el proceso y que se puedan tejer redes para llevar a cabo iniciativas de empoderamiento, de conocimiento, de formación…” Raquel Jorge Ricart
  • 3. 3 En esta jornada, de las pioneras en España, se han establecido tres mesas redondas que representan diferentes esferas del uso de la IA. En la primera, se comprobará el impacto de la Inteligencia Artificial en el ámbito de la securitización y, concretamente, en un contexto político en la gestión de las fronteras y de la seguridad en las ciudades y la criminalización de las personas migrantes y racializadas. En la segunda, se analizará la aplicación de modelos algorítmicos de decisión en los ámbitos de la justicia y la exclusión social y, finalmente, en la tercera mesa se revisarán las necesidades y experiencias de la administración pública para hacer políticas públicas más digitales y participativas, con métodos más inclusivos gracias a diferentes herramientas de innovación. PRIMERA MESA Securitización de nuestras vidas en fronteras y ciudades Ana Valdivia Matemática y Doctora en Inteligencia Artificial. Investiga el impacto político, técnico y social que la datificación y la inteligencia artificial tienen sobre colectivos históricamente oprimidos. Actualmente trabaja dentro del proyecto ERC “SECURITY FLOWS”, donde analiza qué tipo de tecnologías y datos se recogen y comparten en las fronteras europeas, y cómo éstas afectan a personas migrantes y demandantes de asilo. Ana también tiene experiencia dentro del sector privado, dónde ha desarrollado proyectos de análisis de datos con equipos interdisciplinares formados por científicas de datos, sociólogas, abogadas y expertas en ética digital. Youssef M.Ouled Periodista colaborador en diferentes medios de comunicación y trabaja para la organización Rights International Spain (RIS) analizando el uso que hacen las Fuerzas y Cuerpos de Seguridad del Estado del perfilamiento racial. Coautor del informe “Bajo Sospecha: Impacto de las prácticas policiales discriminatorias”, desarrolló junto al Equipo del Decenio Afrodescendiente de la ONU el informe “Racismo y Xenofobia durante el Estado de alarma en España”, una investigación que analiza el impacto en la sociedad de la Covid-19 y las medidas adoptadas por el Gobierno. Nora Miralles Periodista especializada en análisis internacional e investigadora en seguridad, género y Derechos Humanos en el Observatori de Drets Humans i Empreses a la Mediterrània (ODHE) y en el Centre Delàs d’Estudis per la Pau. Cooperativista en Sudergintza Koop. Master en Género, Conflicto y Derechos Humanos por la Ulster University (Belfast). Forma parte de la Women’s International League for Peace and Freedom (WILPF) y del movimiento popular de Manresa. Pepa Martínez (Moderadora) Licenciada en Derecho, Diplomada en cultura de Paz, Máster en educación para la ciudadanía y en valores de la UB. Ha sido cooperante en terreno de proyectos de educación en DDHH en México, y de ayuda humanitaria en Sudán. Ha trabajado como técnica de Educación para el Desarrollo en varias entidades catalanas. Desde 2013 es la directora de Lafede.cat- Federación de organizaciones para la justicia global.
  • 4. 4 La securitización, la corriente política que trata el fenómeno migratorio como un peligro para la seguridad nacional, es un concepto muy amplio que en esta jornada se ha querido centrar en tres espacios: fronteras, migraciones y ciudades. Además, se apunta a las soluciones tecnológicas que le impactan. Desde los atentados del 11 de septiembre de 2001 en Estados Unidos, la sociedad ha permitido que el estado se convierta en un ente vigilante y el derecho a la privacidad es uno de los que ha sufrido un mayor golpe. La mayoría de la población, sin embargo, se considera libre de esa vigilancia porque sigue las normas y leyes que rigen su país. Aunque se tenga la sensación de que la securitización es un problema que solo concierne a quienes transgreden las normas impuestas (los “malos ciudadanos”) lo cierto es que el concepto conlleva un grave riesgo de vulneración de derechos. Ana Valdivia ¿Cuál es el impacto de la IA en el contexto de las migraciones? Evidentemente, nadie migra por placer, sino por razones que escapan de su control: cuando su país está afectado por conflictos o violencia, por la emergencia climática, o si tienen problemas económicos, o si son perseguidos por su ideología u orientación sexual… Estos son algunos de los motivos que, junto a un aumento de los flujos de migración sur-norte, han llevado a la mal llamada “crisis de los refugiados en Europa”. Los países de acogida obligaron a la Unión Europea a desarrollar la Regulación de Dublín,, que obliga a la persona demandante de asilo a permanecer en el país de entrada. Este reglamento se refuerza con la base de datos EURODAC, que recoge información de los demandantes de asilo. La información incluye nombre, apellidos y fecha de nacimiento, pero también datos biométricos como las huellas dactilares y ya se está trabajando en proyectos para incluir el reconocimiento facial. Otras bases de datos, como Visa Information System (VIS), recogen información también para todos aquellos que aplican para una VISA para viajar a países del espacio Schengen. Otros proyectos como EES (Entry-Exit System) suponen una nueva base de datos que recogerá en 2021 toda la información, incluyendo datos biométricos, de todas las personas no ciudadanas de la Unión Europea que crucen fronteras dentro del espacio. Los datos biométricos son datos que permiten identificar unívocamente a una persona. El problema es que no es posible renunciar a ellos, no es posible separarlos de su identidad, cambiarlos o revocarlos. Cara, huellas dactilares, voz, patrón de venas (cuya viabilidad está investigando la UE), etc, identifican para siempre a su propietario. Eso puede llevar a casos en los que una persona no pueda cruzar una frontera porque sus datos perennes son detectados por un algoritmo en otra base que dirime incompatibilidades, incluso cuando su testimonio niegue cualquier irregularidad. En ocasiones se da más credibilidad a una base de datos y a las coincidencias obtenidas por una IA que a las explicaciones del o la demandante. “Existe muchísima opacidad en el proceso. No es posible saber qué empresas están desarrollando este tipo de algoritmos, qué tipos de algoritmos son, cómo se evalúan, cómo se diseñan y con qué datos se entrenan, qué métricas tienen, cuáles son sus tasas de error, que datos usan…” Ana Valdivia
  • 5. 5 En una investigación llevada a cabo por el equipo de Security Flows en el que trabaja Ana Valdivia, se analizaron todos los contratos de FRONTEX y eu-LISA, las dos agencias responsables de la gestión de proyectos en el contexto migratorio europeo. Así, se descubrió que Frontex ha invertido entre 30 50 millones de euros entre 2018 y 2019 en tecnologías de vigilancia, como los drones, en IAs que detecten el “riesgo” que embarcaciones en el Mediterráneo sean “peligrosas”, además de 50 millones de euros en vuelos de deportación. También investigaron qué tipo de empresas ganan este tipo de contratos. Según esta investigación, hay indicios de un posible oligopolio en el sistema. Tras analizar las características de estos algoritmos, se ha descubierto que la tasa de error del algoritmo de reconocimiento facial de IDEMIA es mayor en mujeres, especialmente en las mujeres indias respecto a las blancas. En conclusión, la tecnología usada ampliamente en las fronteras europeas (bases de datos y métodos basados en estadísticas) se ha convertido en una capa más de la criminalización de la migración. Es necesario conocer mejor el impacto que tienen estos sistemas y analizar las potenciales violaciones de derechos humanos en las que incurren con equipos multidisciplinares. Además, la industria privada del control de fronteras es opaca y no cuenta con un sistema de rendición de cuentas efectivo. Youssef M.Ouled ¿Se han reforzado las prácticas de racismo institucional? “Para hablar de racismo institucional hay que empezar hablando del racismo estructural, en el que se enraizan todos los ámbitos de la vida y en todos los aspectos, no solo en las instituciones.” Youssef M.Ouled El racismo está fuertemente arraigado en el estado, pero también en la sociedad española, aunque las consecuencias no son percibidas por todo el mundo, sobre todo por las personas que no son racializadas. Individuales y organismos llevan años apuntando la problemática y siguen denunciando el racismo estructural hoy en día, especialmente durante la pandemia en la que se ha recrudecido sus efectos tanto en el acceso a la vivienda y a la educación, como en el control y la brutalidad de las fuerzas y cuerpos de seguridad del estado. Hay una lucha contra la violencia racista hacia la población migrante del sur a nivel global, pero también contra la segregación escolar y la expulsión del alumnado racializado del sistema o el control policial discriminatorio. Todas estas demandas coinciden en ubicar el racismo en el estado, las administraciones y en las instituciones. El enfoque antirracista en IA no se puede entender sin tener en cuenta estas luchas y la falta de representatividad racializada en todos los espacios. “El racismo sin el poder se queda en prejuicio” Youssef M.Ouled
  • 6. 6 Desde el antirracismo es fundamental que se aborden de forma directa las implicaciones del uso de la Inteligencia Artificial. También, es necesario demostrar de manera cuantitativa el problema racista a través de datos oficiales que respalden las denuncias testimoniales. Es una reivindicación, desoída, que viene de lejos pero que conlleva ciertos peligros al implicar que las administraciones recojan datos desglosados por raza y etnia. Mientras tanto, otros datos igualmente sensibles se comparten en fronteras forzando la expulsión de las personas migradas. “Evidenciando las consecuencias podremos ver las causas” Youssef M.Ouled La vulneración del derecho a la vida, que tiene lugar en la política migratoria y en todas las aplicaciones que se hace en este contexto con Inteligencia Artificial, sirve para hacer crecer el negocio millonario de la securitización y el control migratorio que cada año aumenta su presupuesto en detrimento de los servicios públicos. Analizando los contratos del Gobierno de los últimos años en política migratoria es posible ver cómo estas empresas refuerzan los perímetros fronterizos mientras se encargan de los programas de acogida e integración, limpieza y alimentación en CIE y CETI -donde los DDHH se vulneran constantemente- y son los mismos que se encargan de la seguridad y sensores de las vallas, por ejemplo, y de la detección y expulsión de migrantes, con grandes beneficios para aerolíneas como AirEuropa. “Los sistemas de radares son capaces de detectar cualquier cosa en el Mediterráneo, pero no funcionan de forma tan eficiente en el caso de las pateras a la deriva, incrementando las cifras de la necropolítica migratoria” Youssef M.Ouled Muchos de estos servicios, como por ejemplo el uso de drones armados para el control migratorio, se resuelven en contratos muy opacos con empresas que en ocasiones acaban siendo puertas giratorias de políticos españoles. Estos incluyen también la recogida de datos biométricos, de registros faciales, en cuyo uso se denuncia habitualmente la existencia de prácticas discriminatorias basadas en las características raciales para registrar, controlar e identificar a personas. Un ejemplo más de la criminalización de las personas con diversidad de rasgos es la denuncia de cómo la Policía de Nueva York cuenta con más de 15.000 cámaras para rastrear a gente en barrios racializados, utilizando reconocimiento facial masivo en Manhattan, el Bronx y Brooklyn, vulnerando el derecho a la privacidad sin ningún tipo de sospecha razonada. En España hay casos parecidos en barrios racializados como Lavapiés en Madrid o San Francisco en Bilbao, con fuerte presencia de cámaras aún teniendo índices de criminalidad más bajos respecto a otros.
  • 7. 7 Nora Miralles ¿Cómo se traduce la securitización en las ciudades españolas? “Las tecnologías biométricas y de IA se han puesto al servicio de la vigilancia masiva y del control de ciertas comunidades, personas migradas y racializadas, bajo el mantra de la lucha contra el terrorismo” Nora Miralles Las tecnologías basadas en Inteligencia Artificial han invadido el espacio público, especialmente en las ciudades, para el control masivo de la población bajo el pretexto de la seguridad ciudadana y la lucha contra la criminalidad. Existe una tendencia a aumentar los niveles de vigilancia con tecnología que facilita el control de comunicaciones, el reconocimiento con cámaras de videovigilancia, la posición de ciudadanos por geolocalización, el almacenamiento en aumento de datos de los ciudadanos… Un aumento que no está justificado ni regulado, y en el que ni los derechos civiles y políticos ni la privacidad están protegidos, con el añadido de que no se informa debidamente sobre su uso. Esta tendencia se ha acelerado durante la pandemia, que ha resultado un escenario muy propicio para su proliferación. Por ejemplo, con el uso de drones de vigilancia para el control de las medidas impuestas o incluso con la medición de la temperatura corporal de los ciudadanos, que como datos médicos, deberían ser privados. Todo este control no respeta a las personas individuales y el contexto de sus necesidades y conduce a un sistema mucho más punitivo de los comportamientos individuales sin estar debidamente justificado, en contextos variados como manifestaciones o protestas, establecimientos comerciales, institutos públicos… Algunas de las tecnologías de reconocimiento incluso incluyen modelos de detección de comportamientos sospechosos con un margen de error muy grande. Aunque la tendencia es anterior, la pandemia de Covid-19 está contribuyendo a legitimar el modelo de vigilancia masiva, lo cual es un escenario muy lucrativo para empresas del entorno de la militarización y securitización de fronteras, pero también está siendo usado para reforzar sistemas de detección de Fake News contra políticas del gobierno o discursos negacionistas. Otro factor es la apuesta clara por las Smart Cities (Plan Nacional de Ciudades Inteligentes), otro contexto que ha ayudado mucho a implantar sistemas con gran potencial para minar la privacidad y dotar de más capacidad de control a las fuerzas de seguridad del Estado. Gestionar su acceso y rectificación es muy difícil porque tampoco se da visibilidad sobre su uso y motivación. Con todo ello, el espacio público es un espacio en disputa, donde las nuevas tecnologías tienen cada vez más potencial para controlar la disidencia política, coartar el derecho a la protesta, y en definitiva, poner en peligro los derechos civiles y políticos.
  • 8. 8 ¿Qué puede hacer la sociedad civil? Ana Valdivia Hay niveles de resistencia, la resistencia de las personas migrantes y la de las personas con derechos como ciudadanos. Para el segundo colectivo, se anunció recientemente un movimiento que se llama ‘Abolish FRONTEX’ donde se exige la abolición del sistema de seguridad de las fronteras europeas por su opacidad, vulneración de derechos humanos, responsabilidad en las más de 44.000 personas migrantes muertas… Se está usando dinero público para deportar inmigrantes sin el consentimiento de la ciudadanía europea. Esa es una opción como ciudadana de la Unión Europea. Youssef M.Ouled El derecho que se vulnera sistemáticamente es el derecho a la vida. El mar Mediterráneo es una fosa común y lo que han llamado crisis migratoria es en realidad el temor a que lleguen vivos. Se vulnera el derecho a la libre circulación, a migrar, y el espacio público es un espacio en disputa donde las personas migrantes no se están atreviendo a salir a la calle incluso en situaciones de necesidad. Es importante exigir transparencia para saber cómo y dónde se destina el dinero orientado al control migratorio. Las personas migrantes y racializadas deben tener un espacio de autonomía política, con participación en igualdad, en las organizaciones nacionales e internacionales que denuncien y luchen contra la situación. Hay que entender que estamos cayendo en una deriva autoritaria, en una retórica de cada vez mayor control y securitización que nos afecta a todos, no solo a la población migrante. Nora Miralles Es necesario exigir una mayor regulación en la gestión de datos sobre la población, tener un conocimiento mayor sobre las tecnologías, y abrir debates sobre su uso para disputar este marco securitario que se está implantado y justificando, y que señala una parte concreta de la población. Eso va unido a discutir la cultura del castigo y sus principales instituciones (fronteras, cárceles, CIEs…). Los conflictos y delitos tienen contextos y causas, las tecnologías no los van a solucionar. Se requiere impulsar nuevos modelos de seguridad centrados en los DDHH. También se pueden impulsar la prohibición de ciertas tecnologías, por ejemplo el reconocimiento facial, como ya se ha hecho en San Francisco. También hay que resaltar la coherencia de políticas de empresa: nuestros datos no solo están en manos de la policía y de los cuerpos de seguridad, sino también de empresas que vulneran DDHH. ¿Se pueden rastrear los datos sobre la población que se acumulan en bases de datos? Ana Valdivia El problema es la opacidad. No sabemos qué empresas están desarrollando este tipo de tecnologías, no sabemos dónde están almacenadas las bases de datos. Sabemos que las empresas tienen sede en Europa, aunque son multinacionales, y la GDPR obliga a que todos los datos se almacenen en la UE, pero ¿cómo afecta eso a los migrantes que no son considerados ciudadanos europeos?
  • 9. 9 La UE sacó el primer reglamento para regular la IA, con un espacio dedicado a preguntas y respuestas. Existe sección para datos biométricos, donde se dice que el reconocimiento facial está prohibido en los espacios públicos, pero hay excepciones como “prevenir el crimen”. Hecha la ley, hecha la trampa. Europol sacó un documento en el que afirmaba que no había ninguna relación entre la inmigración irregular y el terrorismo, pero aún así continua siendo uno de los principales argumentos esgrimidos por algunos representantes europeos. Youssef M.Ouled Yo defiendo que se recojan datos para poder visibilizar determinadas realidades y violencias estructurales, para evidenciarlas y detectar qué está generando esas desigualdades, pero plantea problemas: ¿quién custodia esos datos y para qué fines? Además, el pirateo informático de bases de datos de instituciones públicas y administraciones es ahora mismo uno de los negocios más lucrativos. El Ministerio de Interior fue hackeado recientemente y eso tiene graves implicaciones para las personas vulnerables, aunque la ley de protección de datos no sanciona los problemas de seguridad y brechas de información que sufran las administraciones públicas. CONCLUSIONES Ahora es un buen momento para sensibilizar a la población sobre la reivindicación de derechos y privacidad. Organizarse es un deber y ahora es un buen momento para hacer pedagogía, debido al contexto actual de pandemia. Hay que desnormalizar la hipervigilancia. Sus aplicaciones están creciendo a pasos agigantados y es hora de “de-securitizar” la política. Hay formas de hacer política que salva vidas, que permite que se inviertan recursos públicos en proyectos sociales, en políticas de acogida y de ayudas, y de protección de derechos sociales. La lucha contra la discriminación algorítmica es la lucha antifascista y contra la discriminación racial. La tecnología y la Inteligencia Artificial son nuevas herramientas que se pueden usar para ello, hay que estar en alerta. ANEXOS Preguntas y reflexiones ¿Hay alguna manera de tener una visión completa de dónde existen cámaras dotadas inteligencia artificial? ¿Alguna organización que las compile y leyes de transparencia que obliguen a hacerlas públicas? Muchas veces se despliegan cámaras que tienen potencial, pero no tienen instalado ese tipo de software. Tampoco se dispone de un mapeo de esas instalaciones, pero trascienden noticias como que en Madrid se han implementado una serie de cámaras que sí que incluyen programación de reconocimiento facial o que el ayuntamiento de Barcelona iba a comprar toda una serie de cámaras y las iban a colocar en un barrio con problemas racistas. Con políticas de transparencia se podría ahondar en ese aspecto.
  • 10. 10 Las leyes vigentes ya regulan TODO lo que se ha señalado. Si no se puede controlar con lo existente ¿qué proponen? Las leyes no lo regulan todo. No hay ley que regule la IA o que obligue a la administración a hacer públicas las métricas, algoritmos usados… desde la perspectiva tecnológica no está todo regulado. ¿Podéis dar ejemplos positivos del uso o posible uso de estas tecnologías en procesos de desarrollo? La recogida de datos puede ser positiva y útil, pero estando atentos a todos los peligros que plantea, sin vulnerar la ley de protección de datos… Puede, por ejemplo, visibilizar las poblaciones más identificadas y cuales son los resultados de esa identificación. Con proyectos pilotos se ha demostrado que las personas con nacionalidad marroquí eran paradas hasta seis veces más que las de nacionalidad española, pero el resultado de identificaciones que eran positivas (que acabasen con multa o detención) era mayor en las personas de nacionalidad española, lo cual demuestra con datos una percepción subjetiva denunciada por sus propias víctimas. Sí que existen usos positivos, como los procesos de participación ciudadana. El problema es el de siempre: la tecnología es neutra, pero su uso no. Además, los datos almacenados pueden llegar a ser muy sensibles y, más allá de la posibilidad de un hackeo o filtración de los datos, las instituciones europeas las podría ganar la extrema derecha: ¿qué pasaría entonces con los datos sobre inmigración y disidencia política? En Francia se ha usado el reconocimiento facial para detectar, durante manifestaciones, como algunos miembros del cuerpo policial cometían vulneraciones de derechos. También lo hemos usado para detectar que la policía del Reino Unido para más a la población racializada, pero los delitos los cometen mayormente personas blancas. ¿Una mejor regulación y transparencia del uso de los sistemas de control podría hacer positivo el uso de estas tecnologías o siempre van a pesar más los aspectos negativos? Las buenas prácticas en el uso de estos sistemas empiezan por la educación. Es posible publicar datos, pero si no se empieza a educar, a alarmar sobre la extrema derecha, construir sociedades diversas, por mucho que se presenten datos no se llega a ninguna parte. ¿Conocéis casos de usos de la IA/algoritmos con sesgo racial contra personas gitanas? estamos preparando un proyecto sobre esto. Gracias. Saez Quizás no existe un trabajo tan específico, pero todas las tecnologías de predicción de criminalidad en los barrios, con fuertes efectos estigmatizadores, no solo afectan a la población migrante y seguramente se aplica en barrios con población gitana, se podría investigar.
  • 11. 11 La Asociación EDRi, realizó recientemente un evento sobre reconocimiento facial, resistencia y derechos de la población romaní en Europa y quizás puede ser una buena fuente de información. ¿Cómo podemos pedir a las empresas que se lucran de la securitización que rindan cuentas? Más que pedirles que rindan cuentas, hay que exigirles que dejen de vulnerar derechos. Hay que promover una cultura de coherencia de políticas que premien empresas éticas en este sentido. El negocio es muy lucrativo y acaba atrayendo a empresas que no tienen tanto compromiso ético como voluntad de hacer mucho dinero. No se puede pedir rendición de cuentas a las empresas privadas por la opacidad de sus relaciones con la administración, a quién sí que hay que exigir más. Hay transparencia en cuanto a algunos aspectos de las contrataciones, es cada vez más fácil saber qué empresas hay detrás de los contratos, pero al mismo tiempo hay opacidad porque los contratos tienen descripciones muy cortas, hay subcontratos de empresas que no se hacen públicas, relaciones empresariales que no se explicitan... Muchas veces la gente que viene a estas charlas ya es la que está concienciada o abierta a serlo. ¿Cómo y dónde comunicar fuera de estas cámaras de eco para que cale el mensaje? Se requiere un fuerte trabajo de empatía, reclamar que la sociedad se escuche más, que se hable con las personas que sufren injusticias o que son vulnerabilizadas, especialmente aquellos que trabajan en desarrollar tecnologías que acabarán afectando a la sociedad en su conjunto o a determinados colectivos. Hay que tratar de visibilizar que todo eso que suena tan lejano se acaba traduciendo en vulneración de derechos muy concretos, saber y comunicar cómo afecta en el día a día de las personas, como la hipervigilancia cada vez más masiva. Hay que buscar los casos concretos y hacer este trabajo de denuncia y de visibilización. No olvidemos que el derecho al voto es un elemento de presión, se puede usar para exigir rendición de cuentas. Enlaces relacionados de interés 1ª mesa ● Actividad parlamentaria del Congreso de los Diputados en relación con las MIGRACIONES: https://tipiciudadano.es/topics/c03bd478f61d7d2139e2f16c118a0b5003e31bd0 ● Informe del Grupo de Trabajo de Expertos sobre los Afrodescendientes acerca de su misión en España: http://rightsinternationalspain.org/uploads/publicacion/eca132299837fd31773b149f2e 9d600c5142af6c.pdf ● Estudio sobre la percepción de la discriminación por origen racial o étnico por parte de sus potenciales víctimas en 2020:
  • 12. 12 https://igualdadynodiscriminacion.igualdad.gob.es/destacados/estudiopercepcion.html ● El Parlamento Europeo aprueba los presupuestos comunitarios para los próximos siete años: https://www.rtve.es/noticias/20201216/parlamento-europeo-aprueba- presupuestos-comunitarios-2021-2027/2060336.shtml ● Excelencia y confianza en la inteligencia artificial: https://ec.europa.eu/info/strategy/priorities-2019-2024/europe-fit-digital- age/excellence-trust-artificial-intelligence_es#generar-confianza-mediante-el- primer-marco-jurdico-sobre-la-ia ● Aquí un análisis crítico de la propuesta de reglamentación https://edri.org/our- work/from-trustworthy-ai-to-curtailing-harmful-uses-edris-impact-on-the-proposed- eu-ai-act/ ● Tecnologías de predicción de crímenes: https://behaviorandlawjournal.com/BLJ/article/download/75/90/
  • 13. 13 SEGUNDA MESA Exclusión social automatizada. ¿cómo evitarlo? Gabriel González Licenciado en Psicología y con trayectoria profesional ligada a proyectos socioeducativos con la tecnología como un medio para la mejora de la vida de las personas. Ha trabajado en atención directa en la Xarxa Òmnia y hace más de 10 años que se centra en el diseño e implementación de proyectos. Actualmente trabaja como responsable de innovación en la Fundación Esplai Ciudadanía Comprometida y colabora en la Comisión de Seguimiento del proyecto m4Social de la Taula d’Entitats del Tercer Sector Social de Cataluña. Sara Suárez-Gonzalo Sara Suárez-Gonzalo es Doctora por la Universitat Pompeu Fabra de Barcelona, donde trabaja como investigadora postdoctoral Irla especializada en las implicaciones sociales y políticas de la explotación de datos masivos. Además del ámbito más puramente académico, ha trabajado para diferentes instituciones públicas y privadas, con cargos de responsabilidad en el ámbito de la investigación, la consultoría y la asesoría de políticas públicas digitales. Javier Sánchez Investigador Distinguido “Beatriz Galindo” en el grupo de investigación AYRNA del Depto. de Informática y Análisis Numérico de la Universidad de Córdoba e investigador asociado en el Data Justice Lab de la Universidad de Cardiff. Su investigación actual se sitúa en la brecha de conocimiento entre las ciencias sociales y la tecnología con propuestas de auditoría y diseño en la intersección de los sistemas de información inteligentes y la justicia social Irene Parra (Moderadora) Responsable de Comunicación en m4Social y Comunicación Digital en la Taula d'entitats del Tercer Sector Social de Catalunya. Consultora en tecnologías aplicadas a las organizaciones, especializada en marketing digital, comunicación con perspectiva de género y estudios LGTBIQ+. Sabemos que la tecnología y la innovación son herramientas con gran potencial para buscar soluciones a problemas sociales estructurales. Sin embargo, en esta mesa se pretende averiguar, mediante reflexiones y ejemplos extraídos de casos reales, si realmente este es el caso de la Inteligencia Artificial y qué beneficios podría aportar, o si los fallos de base detectados en su diseño y funcionamiento actuales le impiden jugar este papel transformador. Los sistemas de Inteligencia Artificial pueden reproducir e incluso perpetuar modelos injustos. Esto puede deberse, en parte, a errores en diferentes estratos de su confección e ideas preconcebidas. Para evitar sesgos y procurar la máxima es imprescindible reclamar y asegurar la transparencia de todos los pasos de la creación de las IAs, desde su definición a la rendición de cuentas de sus resultados, pasando por su diseño y puesta en marcha.
  • 14. 14 ¿Cómo está afectando la IA a los servicios sociales? ¿Cuáles son sus usos y resultados actuales? ¿Es posible decir que la inteligencia artificial es un agente de cambio? Javier Sánchez En el mundo existen muchos ejemplos de sistemas de gestión de recursos sociales del estado del bienestar a través de sistemas algorítmicos o basados en datos, que en inglés se conocen como sistemas Data Driven, dirigidos por datos. Este término lleva a equívocos porque ofrece una falsa sensación de que en el trabajo de procesado de datos y toma de decisiones de estos sistemas no hay intervención humana, que sus decisiones y acciones son autónomas y, por tanto, objetivas. Eso lleva a situaciones como las que viven muchos usuarios de servicios de la administración pública en la que una de las respuestas más habituales frente a la imposibilidad de atender o entender una petición es: “no soy yo, es el ordenador”. Algunos de los casos de uso de la Inteligencia Artificial en el panorama internacional son SyRI, para la detección de fraude social en los Países Bajos y desarrollado bajo el supuesto, actualmente rechazado, de que la gente de clases bajas que solicita ayudas tiende a estafar. También existe el sistema australiano robo-debts, que actualmente se encuentra bajo investigación judicial después de haber acusado a 600.000 personas de fraude. Por último, cabe mencionar el sistema VioGen en España, un sistema algorítmico que determina el riesgo de que una mujer pueda padecer violencia de género, asignando una escala de riesgo de cinco tramos. En Bristol se usa un sistema Integral Analítico de Datos (BIAH) que puntúa a los ciudadanos y ciudadanas utilizando distintas fuentes de datos hasta en 35 problemas sociales. Un ejemplo sería el uso combinado de información policial y socioeconómica para detectar y predecir la probabilidad de que un niño se encuentre en cierto riesgo de exclusión social. Por muchos datos que tenga este sistema, su precisión y acierto no están asegurados de por sí. “No hay evidencia ni ejemplos sólidos de que el comportamiento humano pueda predecirse algorítmicamente.” La estadística ofrece garantías para describir y predecir con mayor o menor precisión un comportamiento determinado a nivel de población, pero no a nivel individual. Actualmente, se usan herramientas poblacionales para analizar casos individuales, lo cual es erróneo. Ejemplo de ello es este estudio muy reciente en que se intentó predecir trayectorias de vida y aspectos sociales usando varias bases de datos y algoritmos. Ningún grupo consiguió predecir ninguno de los eventos. Esto sitúa el ámbito estadístico poblacional aplicado al comportamiento individual como un sistema no mucho mejor ni más justo que el del azar. Lanzar una moneda al aire tiene la misma capacidad predictiva que una IA haciendo predicciones de comportamiento individual en base a datos estadísticos. Es importante destacar que las herramientas de predicción con Inteligencia Artificial normalmente van dirigidas a vigilar a personas migrantes o racializadas, comunidades en riesgo
  • 15. 15 de exclusión social o familias con bajos ingresos. Raramente se usan para localizar y monitorizar la delincuencia financiera y a criminales de cuello blanco, cuando tendría sentido por las cantidades de dinero público que esconden, redistribuyen o roban. Aunque existen información y datos sobre crímenes financieros, no se investigan y persiguen con las mismas herramientas innovadoras que el segmento poblacional con más riesgo de exclusión. El proyecto White Collar Crime Risk Zones denunció esa doble vara de medir realizando un mapa interactivo que analizaba las zonas de Nueva York donde hay más riesgo de vivir un crimen financiero e incluso generó el retrato robot del perfil de persona sospechosa que pudiera protagonizar uno de estos crímenes: un hombre blanco. ¿Cómo evitar los problemas de sesgo e injusticia en los sistemas con IA o basados en datos estadísticos? La gran apuesta de las propias empresas privadas que desarrollan soluciones tecnológicas es la autorregulación y el desarrollo de guías éticas, aunque es un remedio que genera grandes conflictos de intereses. También existe un riesgo de solucionismo tecnológico ya que muchos de los problemas relacionados con Inteligencia Artificial no se solucionan sólo con su monitorización y predicción, pero sí con más atención al origen del conflicto social Por otro lado, las guías éticas que desarrollan las empresas privadas se basan en principios abstractos y no aterrizan muchos de los conceptos lo que en la práctica diluye los requisitos de un sistema para ponerse en marcha. Una posibilidad de concreción de principios sería basarlos en los principios de los Derechos Humanos, aunque la inmensa mayoría de ellas son elaboradas en países occidentales del norte, Estados Unidos y Europa, y no le dan el mismo peso a las dimensiones analizadas, por lo que podríamos decir que requieren la aplicación de unas ‘gafas interseccionales’ que sean sensibles a criterios más diversos. En conclusión, en ámbitos de justicia social es preferible usar la estadística descriptiva que la estadística predictiva, que en general presenta varios problemas como la imprecisión, la disriminación, imposibilidad de recoger factores no codificables numéricamente y la problemática comentada de extrapolar conclusiones poblacionales a individuos. No es seguro ni efectivo anticipar el futuro con datos estadísticos. Además, es indispensable ser más críticos con los algoritmos aplicados, con una mirada que también incluya a la comunidad afectada y no solo a la operacional que pone en marcha esas soluciones de procesado estadístico y que imbuye la solución tecnológica de sus propias lógicas ideológicas. Más evaluación, más interdisciplinariedad, más inclusión de actores y más sensibilidad hacia los conceptos sociotécnicos. Un ejemplo es el proyecto Algorithmic Ecology.
  • 16. 16 ¿Cómo pueden las organizaciones sociales trabajar para evitar un uso excluyente de las IAs? El uso de herramientas de automatización en el ámbito social va en aumento, y esto empieza a traducirse en cambios palpables, que afectan a la sociedad, y más especialmente a los grupos sociales más vulnerables. Estos cambios pueden ser más o menos explícitos, más ruidosos o más sutiles, pero es igualmente importante analizar las consecuencias de ambos. En primer lugar, podemos hablar de las consecuencias inmediatas, que tienen una afectación directa y práctica en un individuo o colectivo concreto, como puede ser quedar excluido de una ayuda social. Es necesario, sin embargo, prestar atención también a consecuencias menos inmediatas, pero que pueden degradar el tipo de sociedad que queremos ser. Por un lado, usar tecnologías como la IA no resuelve cualquier tipo de problema, y, por otro lado, a menudo la introducción de dicha tecnología supone restar otros recursos económicos y técnicos, pero también reducir la atención humana a estos problemas. Es necesario hacerse una pregunta previa a la implantación de una IA. ¿Para qué sirve introducir algoritmos en el ámbito de los servicios sociales? Actualmente, su uso responde a una motivación por aumentar la eficiencia de los procesos en los que se inserta, y obtener cierto ahorro económico, además de guiarse por la supuesta objetividad de la técnica. Teniendo en cuenta que uno de los objetivos de nuestra sociedad democrática es que todas las voces tengan un papel activo, no es bueno que el criterio que prevalezca en un estado del bienestar, y en concreto en relación a los servicios sociales, sea la eficiencia. La implantación de sistemas automatizados, en cambio, limita en la práctica la intervención humana y redunda en una disminución de la participación democrática. Conduce a un tipo de sociedad en la que la brecha entre gobernantes y gobernados aumenta. “En la gestión pública, la implantación acrítica de sistemas automatizados basados en algoritmos de inteligencia artificial nos acerca a una sociedad menos democrática, donde una élite gobernante conoce los instrumentos tecnológicos y los usa para aumentar la eficiencia, mientras la ciudadanía gobernada no la comprende, no tiene capacidad de participar, pero está afectada por las decisiones tomadas” Con el objetivo de evitar estos efectos indeseados de los sistemas de IAen el sector público, las organizaciones sociales y el conjunto de la ciudadanía deberían centrarse en tres acciones. 1. Entender la lógica básica del funcionamiento de la AI, es decir, entender qué es capaz de hacer y qué no, para qué sirve y qué la hace inútil. 2. Desmitificar y deselitizar la IA para acercarla a toda la sociedad, usando términos accesibles y comprensibles que estén relacionados con su realidad social.
  • 17. 17 3. Fomentar la participación social de la ciudadanía -especialmente la de los grupos más marginalizados y vulnerables- y la de las entidades sociales. La IA es una tecnología de moda, que está muy sobredimensionada. Se le atribuyen capacidades que en realidad no tiene ni se espera que tenga a medio o corto plazo y se trata, además, de una tecnología muy opaca. Eso provoca que la ciudadanía la entienda como algo misterioso sobre la que no se ve capaz de opinar y que esa función crítica se considere reservada a perfiles expertos. Ese es uno de los problemas que hay que combatir de forma más urgente: todo el mundo puede comprender la lógica básica del funcionamiento de la IA. Para ello, se recomiendan herramientas de formación iniciática como el curso de introducción a la IA Elements of AI, que ha sido traducido recientemente al castellano, porque ayuda a entender la lógica básica de la tecnología. La IA puede ayudar en la eficiencia, pero precisamente el ámbito del servicio social requiere mayores dosis de empatía humana que una máquina no puede ofrecer. ¿Cómo se conjugan esas dos necesidades? Gabriel González “Hay que dejar la empatía a las personas y encargar a la tecnología aquello que es capaz de hacer bien, complementando y aportando valor a las experiencias de apoyo a las personas” La atención a las personas debe ser empática,y que esta empatía sea la base de todos los proyectos dee proyectos que acometan las organizaciones sociales para mejorar la calidad de vida de quienes atienden. Eso es posible con metodologías que pongan a las personas en el centro, como por ejemplo de la metodología Design Thinking, creada con el objetivo de que sean las mismas personas beneficiarias las que participen en la construcción de cualquier iniciativa planteada. En el caso de la IA, es imprescindible que en su diseño se cuente con equipos multidisciplinares que incluyan a las mismas personas que se pretende atender. Además, en su confección es necesaria una gran dosis de empatía que asegure que se incluyen criterios de imparcialidad para un trato equitativo, de confiabilidad y seguridad, privacidad y gobernanza inclusividad para no dejar a nadie al margen y transparencia que asegure que se conozca la finalidad de los objetivos de esa IA, su funcionamiento y sus limitaciones. Estos equipos de diseño de IAs deben incluir a las personas beneficiarias, pero también a perfiles profesionales diversos que aporten conocimiento, minimizando de esta manera la posibilidad de producir algoritmos sesgados que reproduzcan o amplifiquen discriminaciones ya presentes en la sociedad. El proceso de auditoría de una IA debería estar presente durante todo su ciclo de vida, incluso en la parte final en la que una persona acaba tomando la decisión definitiva basándose en
  • 18. 18 mayor o menor medida en los resultados generados por esa inteligencia artificial, de manera que esa persona sea capaz incluso de descartar lo que proponga la máquina, si lo considera necesario. Para asegurar la inclusividad de estas tecnologías, es imprescindible quelas personas beneficiarias sean dotadas de los recursos necesarios y reciban las explicaciones sobre qué papel tendrá la tecnología en el servicio que se les ofrezca. Además, se deben valorar y anticipar dentro de lo posible las consecuencias no deseables que puede tener cualquier propuesta tecnológica. Las organizaciones de la sociedad civil llevan mucho tiempo luchando para superar la brecha digital en todas sus formas, precisamente para asegurar que las soluciones propuestas lleguen a sus usuarios potenciales. Es hora de incorporar la IA dentro de la competencia digital de las personas. Por su capacidad disruptiva y transformadora, y más allá de los aspectos técnicos que implica, es necesario compartir y explicar las implicaciones sociales y personales que comporta su uso. Especialmente porque algunos de estos algoritmos se están usando como modificadores de pensamiento y conducta en base a intereses comerciales y políticos. Los filtros burbuja, la economía de la atención, los servicios digitales aparentemente gratuitos y el negocio de los datos… todos estos conceptos, con riesgos importantes, se construyen alrededor de algoritmos que es vital conocer para ser críticos en su impacto y en las decisiones que se toman a nivel usuario. En ese trabajo para mejorar la competencia digital, especialmente en edades tempranas, hay que introducir el respeto a los demás, ya sea en la interacción en esos espacios digitales o en la valoración crítica de los contenidos consumidos, con retos como los conocidos deepfakes, uno de los usos perversos de la IA. Por ejemplo, a partir de los 10-12 años es relativamente fácil aprender cómo funcionan los algoritmos y detectar los sesgos que incluyen. En la Fundacion Esplai se han realizado algunas experiencias al respecto, aprovechando recursos de la plataforma Machine Learning For Kids, gracias a la cual los jóvenes han entrenado un algoritmo para detectar expresiones de violencia de género y racismo. Con este tipo de propuestas se integra el trabajo de la educación en valores con la aplicación tecnológica. ¿Cómo se afronta la aplicación de la Inteligencia Artificial en las entidades sociales¿ ¿Qué ventajas y desventajas expresan sus profesionales? ¿Qué tipo de acciones se beneficiarían de su uso? Gabriel González Las tecnologías como la Inteligencia Artificial son vistas con recelo por los y las profesionales del ámbito social, de la misma manera que las percibe parte de la ciudadanía. Esto se puede deber a varios factores, incluyendoel papel de los medios de comunicación que enfatizan las aplicaciones más controvertidas e impactantes de la tecnología, o una cultura cinematográficaque ha creado un imaginario colectivo donde las que IA acaban tomando conciencia de sí mismas y terminanrebelándose contra sus creadores.
  • 19. 19 Además, se destaca la frialdad de la tecnología porque no es posible que actúe con la proximidad humana. Estos dos factores, unidos a la falta de formación en competencias digitales, ha provocado que el sector social vaya con retraso en la implantación de la tecnología. Poco a poco, el sector se va dando cuenta de que se puede beneficiar de la tecnología digital y la atención a las personas debe incluirla en sus procesos, especialmente cuando el mundo está en plena aceleración de la transformación digital. Hacen falta recursos, formación -o aprendizaje-, y sobre todo acompañamiento en este proceso estratégico que conlleva un tiempo, ya que supone un cambio de actitudes, aptitudes y cultura organizativa. El contexto de pandemia ha obligado a acelerar o iniciar los procesos de transformación digital ante los límites que imponía el confinamiento. El proceso ha sido muy desigual, no sólo por los cambios necesarios en cada organización sino también debido a la brecha digital que afecta a los diferentes usuarios atendidos. Hablamos depersonas mayores en soledad no elegida ysin apoyo familiar, personas con diferentes tipos de discapacidad, personas sin recursos económicos y por tanto, sin dispositivos o conexiones de red. “El valor de los proyectos sociales está marcado por el acompañamiento y la atención personalizada, pero ello no es incompatible con las tecnologías o la IA” ¿Tendrá la tecnología del futuro capacidad de empatía equivalente a la de los humanos? Ahora mismo eso es ciencia ficción, pero proyectos como el plan piloto del Ayuntamiento de Barcelona con robots diseñados para acompañar personas mayores que viven solasha sido un gran éxito. Datos y privacidad en el ámbito social Actualmente, existe una cantidad ingente de datos que se generan de forma automática - aunque también manual-. Es el llamado Big Data, y son datos que no están bien estructurados para mejorar el servicio a las personas atendidas por la entidad social que los usa. La IA, y una de sus formas más usadas, el aprendizaje automático o Machine Learning, pueden ayudar mucho a extraer patrones en esa gran cantidad de datos, y detectar elementos susceptibles de mejora o formas de discriminación automatizada. La implementación de estas herramientas con tan gran potencial requiere alianzas con otros actores sociales que tengan el conocimiento técnico, la metodología o el capital para llevarla a cabo como pueden ser universidades, la administración o empresas. Estos consorcios conforman sistemas de cuádruple hélice que integran a todos los actores de la sociedad, la forma más adecuada de abordar cualquier proyecto de ámbito social. En conclusión, integrar la IA en organizaciones de la sociedad civil requiere más capacitación para entender las posibilidades de los algoritmos, especialmente en lo que se
  • 20. 20 refiere al ahorro de tareas que pueden asumir de forma autónoma y hacer mejor que los humanos. Es imprescindible analizar las aplicaciones de la IA que se realizan fuera del ámbito social, que pueden suponer una buena fuente de inspiración para los desarrollos propios. ¿Cómo se ha aplicado la IA en el ámbito social y cómo impacta en el Tercer Sector, por ejemplo, en las prestaciones sociales? Javier Sánchez La misma lógica que se puede ver en los motores de recomendación de películas, o de música, se ha empezado a aplicar a las ofertas de trabajo del SEPE. A la vez, la tecnología de Inteligencia Artificial se ha usado para generar los perfiles de los candidatos con más posibilidades de acabar siendo un parado de larga duración, con parámetros como la cantidad de tiempo de uso de la plataforma, o el número de ofertas consultadas. En su uso más positivo, esta tecnología puede ayudar a los demandantes a encontrar trabajo más eficientemente, de forma personalizada y adaptada a cada currículum, un método alejado de los envíos genéricos de archivos PDF con centenares de ofertas. Pero también se corre el peligro de que se hagan perfilados adicionales, fuera de los cauces de la intención del sistema, aunque en este caso la RGPD debería ser garante de la privacidad. ¿Qué parámetros debe incluir un proyecto de Inteligencia Artificial para garantizar los Derechos Humanos? Sara Suárez-Gonzalo No existen recetas mágicas para evaluar los sistemas de Inteligencia Artificial, y si, además, el objetivo es valorar cómo afectan estos sistemas a la vida de las personas, no se pueden hacer demasiadas generalizaciones. Cada sistema tiene sus particularidades técnicas y se implementa en una determinada realidad social, política, económica y cultural, y los dos contextos determinarán los efectos del sistema en esa realidad concreta. No obstante, sí hay algunos aspectos en los que podemos fijarnos, más o menos de forma general. Hoy en día, cuando se habla de IA nos referimos básicamente a algoritmos basados en técnicas de aprendizaje automático, de Machine Learning. Su objetivo es procesar información para producir un resultado más o menos marcado por las instrucciones humanas. Estos resultados se usan para predecir eventos o comportamientos, clasificar elementos o tomar decisiones. Para funcionar correctamente, en escenarios con altos índices de incertidumbre, estos sistemas necesitan procesar grandes bases de datos para funcionar, el llamado Big Data. Teniendo en cuenta estos elementos comunes, para evaluar un determinado sistema de IA podemos fijarnos en tres aspectos importantes:
  • 21. 21 1. Datos: Analizar la fuente de información del algoritmo: qué datos procesa, cómo y para qué lo hace. 2. Modelamiento: Delimitar en base a qué parámetros se construye el sistema. Cómo se programa y cómo se modela el sistema: qué instrucciones se le han dado. 3. Concepción: Desvelar el objetivo inicial del sistema y su aplicación práctica. Cómo y para qué se crea y cómo se implementa realmente. 1. Los errores en los datos de los que se alimenta un algoritmo pueden comprometer la mejor de las herramientas de inteligencia artificial. El sistema podría estar procesando datos inexactos, incompletos o inadecuados para representar la realidad que se pretende analizar. Por ejemplo, entrenar un sistema de reconocimiento facial con fotografías que no incluyan caras racializadas o con diversidad de rasgos sería ofrecer al algoritmo una visión incompleta de la realidad. Este acabaría siendo mucho más impreciso cuando se encontrase frente a estas características físicas que desconoce. Disponer de datos masivos y alimentar un algoritmo con grandes cantidades de datos no siempre es suficiente para representar y entender el mundo. 2. El modelamiento de un sistema de Inteligencia Artificial, cómo se ha construido y cómo ha sido su programación, es otro de los factores clave para evaluar sus algoritmos. Aquí es necesario dilucidar qué decisiones se han tomado para dar unas instrucciones determinadas que guiarán su modo de tratar los datos. ¿Qué información prioriza el sistema? Por ejemplo: si los algoritmos son demasiado estáticos, el sistema es incapaz de aprender y adaptarse a un entorno muy cambiante. Por el contrario, si se trata de un sistema demasiado influenciable, puede cambiar de forma indeseada. 3. También es interesante fijarse en los aspectos de la misma concepción del modelo y su implementación posterior. ¿Cuál es el objetivo de ese sistema de IA, para qué se ha creado, para qué se está utilizando? En este punto se puede detectar que el algoritmo se está usando de forma indebida, o que las personas que deben interactuar con él no están preparadas para hacerlo. Pero ya la misma concepción del sistema, los objetivos previos que pretende solucionar, pueden presentar problemas porque en realidad el sistema no sirve para lo que pretende o que su función sea directamente indeseable por sí misma. Los errores de concepción pueden suceder porque existe una desconexión entre la lógica de la IA y la realidad del problema a la que se quiere aplicar. Pongamos por ejemplo un sistema de IA para predecir la tasa de abandono escolar. Un tipo de sistema que ya existe, no es ciencia ficción. Si pensamos en las causas del abandono escolar en dos barrios diferentes existen algunos indicadores bastante evidentes como el nivel adquisitivo de las familias, pero hay muchos otros factores: la distribución urbana, cómo está construido el colegio, quiénes son los profesores que están dando clase ahí, circunstancias particulares de cada estudiante... No es imposible descifrar las causas de los problemas sociales, pero la Ciencia Social no es una ciencia exacta: entre los mismos científicos y las mismas científicas sociales hay muchas
  • 22. 22 discrepancias. La idea de predecir automáticamente cualquier resultado sobre problemáticas sociales, con un sistema basado en técnicas automatizadas, supone obviar esa complejidad social, y dar por hecho que somos capaces de construir modelos eficaces recogiendo toda la complejidad social en datos y que obtengan resultados justos. Esta forma de entender las cosas ya está dando problemas hoy en día. Por último, la función original de un sistema de Inteligencia Artificial puede ser indeseable, por muy bien que funcione: puede fomentar valores que no interesan o favorecer una sociedad diferente a la que se pretende. Un caso evidente es el de Cambridge Analytica, un sistema que se construyó para intentar manipular el voto de los indecisos, que en principio no nos interesa como sociedad. Estos tres factores: datos, modelamiento y concepción del sistema están muy relacionados entre sí, pero quizás el más interesante es este último: precisamente el punto en el que las organizaciones sociales pueden aportar más, porque es muy necesario conocer bien la realidad en la que se quiere aplicar un sistema y determinar si la IA puede servir o no para resolver el problema que se pretende atajar. CONCLUSIONES En el desarrollo de sistemas de Inteligencia Artificial es indispensable un enfoque multidisciplinar que incluya a diferentes actores y voces especializadas en distintos campos, sin olvidar la necesaria formación en los ámbitos que no se dominen. Esta formación es indispensable para entender la lógica de la IA, desmitificarla y deselitizarla. En definitiva, quitar narrativa a la IA y hacerla más democrática para fomentar la participación social y asegurarse que cuente con la transversalidad de sistemas sociotécnicos que den el mismo valor a los datos y a las personas. El tercer sector y las entidades sociales deben hacer un esfuerzo para ponerse al día sobre el uso de esta tecnología para aportar su conocimiento y competencias sobre las problemáticas sociales. El objetivo final de cualquier tecnología es atender a las necesidades de las personas, y eso hay que hacerlo con una visión amplia que asegure su utilidad. Para ello, todos los actores relacionados con su diseño deben plantearse cómo se utilizan los datos, cómo se programa el sistema y, en primer lugar, si tiene sentido hacerlo. Transformarse digitalmente sí, pero siempre con las personas en el centro de las decisiones, respetando sus derechos fundamentales.
  • 23. 23 ANEXOS Preguntas y reflexiones ¿Tendríamos las organizaciones que apostar por tener departamentos de tecnología propios, con personal experto para dar seguimiento/ analizar los datos generados? Es un gran debate en el ámbito de la administración pública y tiene dos problemas: por un lado, las personas más capacitadas se encuentran trabajando en las grandes consultoras. Ni las universidades ni la administración pública pueden competir salarialmente. Por el otro, la dificultad radica en el hardware. En algunos modelos, sobre todo los de lenguaje natural, existen muy pocas empresas con la capacidad para entrenarlos. Sin embargo, aunque no sea posible construirlos sí que es posible auditarlos. La duda sería cómo formar a los auditores, si sería mejor llevar a personas del ámbito de las ciencias sociales en programación, o al revés. Tampoco cómo se podría integrar esta formación en los itinerarios universitarios, pero habría que empezar a hacerlo en el contexto de la formación profesional. Cuando se trata de evaluar los efectos de un sistema, es necesario trabajar con equipos multidisciplinares. Es cierto, no obstante, que en el ámbito de las administraciones públicas, donde se implementan sistemas tecnológicos que afectan de manera tan determinante la vida de las personas, sí que habría que contar con personas especializadas, con conocimientos sobre el tema, que tuvieran capacidad de analizar esas tecnologías. Externalizar o subcontratar este tipo de sistemas es delicado, empezando simplemente por los potenciales conflictos de intereses. ¿Podéis compartir experiencias de organizaciones sociales que estén haciendo un trabajo de vigilancia de la automatización? Existen algunos ejemplos en el Reino Unido, Estados Unidos o en España, donde algunos sindicatos empiezan a trabajar en el tema. En EEUU existe el sindicato United4Respect, que trabaja en este contexto, no solo en la parte de auditoría sino también con el desarrollo de aplicaciones móviles como WorkIt, para consultar derechos laborales, mezclando la información de los convenios colectivos, la legislación e incluso bases de datos que incluyen comentarios en foros. Aquí la entrevista que El Salto Diario hizo a Catherine Huang, la desarrolladora principal de la aplicación. Grandes organizaciones como Amnistía Internacional van incorporando equipos especializados, pero la gran pregunta es qué hacer con las organizaciones de base, con menos capacidad para incluir este tipo de perfiles en la plantilla. También existen organizaciones como Algorithm Watch que están especializadas completamente en el ámbito de la vigilancia de sistemas de automatización, con las que quizás sería más útil buscar maneras de colaboración si no es posible tener un departamento propio en cada entidad. Los sindicatos son los que tienen más capacidad para hacerlo, con más recursos, capacidad formativa, etc.
  • 24. 24 En Francia, por ejemplo, se usaron los datos abiertos (Open Data) sobre las decisiones judiciales para analizar y buscar patrones. Se descubrió que el mismo delito aplicado a personas diferentes eran penados de una forma distinta: los jueces hacían dictámenes más punitivos a determinados perfiles, y poder detectar ese tipo de discrepancias es fantástico. Lo terrible es que, una vez se denunció estas discrepancias en la aplicación de la ley, que demostró indicios de abuso, el gobierno francés prohibió la aplicación de Inteligencia Artificial en Open Data extraída de los procesos judiciales. El desarrollo de estas tecnologías crece más y más rápido en el norte global. ¿Cómo se aborda, entonces, la brecha digital norte-sur? Los sistemas de IA no afectan igual a todos los territorios ni a todas las personas que los habitan. En el mismo diseño de los mismos se cuenta con determinados perfiles sociales mayoritarios, se discrimina de origen a una parte de la población, y acaba provocando problemas en su funcionamiento. Superar la brecha digital es muy importante en este campo porque afecta de manera desigual a cada país, dependiendo de su nivel de desarrollo, social y económico. ¿Existen empresas en Catalunya/España que auditen algoritmos de Inteligencia Artificial en búsqueda de sesgos? Teniendo en cuenta que ese no es el final del camino, pero sí un inicio importante. Existe el servicio de Eticas Consulting, una de las empresas auditoras de Inteligencia Artificial más conocidas en Cataluña y han publicado precisamente una guía de auditoría algorítmica. Cada vez hay más ejemplos de administraciones públicas, y también de empresas privadas, que ven necesario servirse de este tipo de servicios. Empieza a haber una sensibilidad social más fuerte sobre este tema y la legislación ha empezado a apuntar que es importante que este tipo de controles sean posibles y se lleven a cabo, desde dentro o desde fuera la organización que desarrolle los algoritmos. ¿Conocéis experiencias de administraciones públicas que estén aplicando este tipo de auditorías? A la hora de ir a auditar estos algoritmos, uno de los principales problemas, especialmente en la administración pública donde tienden a externalizar su desarrollo, es que los contratos del servicio incluyen cláusulas que impiden el acceso al código, las empresas lo evitan. La sensibilidad sobre la necesidad de auditar los sistemas aumenta, y es importante pero complicado de ejecutar. Requiere tener conocimientos sobre muchos ámbitos, tanto sociales cómo técnicos. No se trata de hacer una simple evaluación técnica, sino de ponderar todo su proceso de vida (concepción, desarrollo, implementación) y la adaptación que tiene su integración a la realidad que analiza.
  • 25. 25 Es muy importante recordar, especialmente en el uso de sistemas automatizados aplicados a servicios sociales, que en Europa, está prohibido que un sistema automatizado tome decisiones de forma completamente autónoma que puedan afectar significativamente a la vida de las personas, aunque esta prohibición queda abierta a la interpretación Enlaces relacionados de interés 2ª mesa ● Repositorio de sistemas basados en IA de la Fundación Eticas: https://eticasfoundation.org/algorithms/ ● https://women4cyber.eu/ ● Algunas iniciativas de empoderamiento ciudadano https://datajusticelab.org/data- justice-2021/ ● A nivel internacional: https://algorules.org/en/home ● Uso de sistemas de decisiones automatizadas en los sistemas de bienestar digital. https://digitalfuturesociety.com/es/report/hacia-la-igualdad-de- genero-en-el-estado-de-bienestar-digital/ ● https://digitalfuturesociety.com/es/report/exploring-gender- responsive-designs-in-digital-welfare/
  • 26. 26 TERCERA MESA ¿Cómo diseñar políticas públicas digitales inclusivas desde la participación ciudadana y la diversidad? Michael Donaldson Comisionado de Innovación Tecnológica, Administración Electrónica y Buen Gobierno del Ayuntamiento de Barcelona. Es Licenciado en Derecho y Máster en Gestión Pública. Ha trabajado como director de planificación estratégica y servicios centrales en los municipios de Rubí y Gavà. Experto en temas de gobierno abierto y transparencia y ha publicado varios artículos y capítulos de gestión pública. Ismael Peña-López Director de la Escuela de Administración Pública de Cataluña. Antes, Director General de Participación Ciudadana y Procesos Electorales en la Generalitat de Cataluña. Experto en el impacto de las TIC a la sociedad, especialmente en el desarrollo y las instituciones educativas y políticas. Judith Membrives Graduada en Comunicación y Diseño Multimedia con especialización en Investigación por Diseño Centrado en las personas. Máster de Filosofía para Retos Contemporáneos con mención Retos Tecnocientíficos y aspirante a doctorado de Sociedad, Tecnología y Cultura. Actualmente trabaja como técnica de innovación y experiencia de persona usuaria en la agencia de desarrollo local de Barcelona y como profesora colaboradora del máster universitario de diseño de interacción y experiencia de personas usuarias. Thai Jungpanich (Moderadora) Conectora social con más de 15 años de experiencia apoyando a organizaciones a reducir la brecha entre gobiernos y sociedad civil a través de redes digitales, diseño estratégico y cultura colaborativa. Tiene estudios de ingeniería industrial y postgrados en Construcción de Paz, Desarrollo Internacional y Liderazgo e innovación social. Actualmente, dirige el Hub Espai Societat Oberta porque le encanta conectar personas, ideas y organizaciones en la defensa de los Derechos Humanos y la justicia social. ¿Cómo fortalecer el rol de la ciudadanía en el diseño, la implementación, la ejecución y la evaluación de políticas públicas, en lo general, y de políticas digitales basadas en la Inteligencia Artificial y en la automatización de decisiones, en lo concreto? Es un tema complejo y poco accesiblepero es por ello mismo que se organizan jornadas como esta en la que se pretende democratizar el conocimiento con el objetivo final de que toda la ciudadanía sea capaz de participar, contribuir y vigilar el uso de estas tecnologías.
  • 27. 27 En esta última mesa se busca, junto a representantes de la administración pública y del activismo digital, reflexionar sobre cómo hacer que en la toma de decisiones del ámbito digital no solo participen expertos tecnológicos. ¿Cómo abrir el espacio a personas, colectivos y organizaciones sociales, expertas en derechos humanos, en discriminación, en racismo y a voces interdisciplinares con diferentesorígenes, géneros, ideologias y creencias? Que las políticas digitalessean diversas e inclusivas depende en gran medida de que también lo sean las personas implicadas en su proceso de diseño, elaboración e implementación. Judith Membrives La comunidad Algoritghts surge de la voluntad de más de medio centenar de personas de velar por el cumplimiento de los Derechos Humanos en el desarrollo y aplicación de las tecnologías de Inteligencia Artificial. La inteligencia artificial presenta unos retos sin precedentes en materia de derechos y la sociedad civil debe estar representada no sólo en el debate acerca de la aplicación de estas tecnologías, sino que también en los procesos de decisión acerca de su diseño, su implementación y su evaluación. “Nuestro objetivo principal es promover la democratización del acceso, creación y aplicación del conocimiento de la I.A con un enfoque puesto en los derechos humanos” La mayoría de opciones para hacer la Inteligencia Artificial más justa se suelen plantear desde perspectivas tecnosolucionistas: intentan solucionar problemas sociales mediante la técnica, dejando de lado los problemas estructurales de la sociedad. La comunidad Algorights pone el foco en cuatro aspectos: transparencia, rendición de cuentas, justicia social y participación ciudadana. Este último aspecto genera debate por sus múltiples interpretaciones, pero en este caso se refiere a la participación entendida como la necesidad de incorporar la voz y la experiencia de las diferentes sensibilidades que existen en la sociedad civil en el desarrollo específico de la IA, desde organizaciones multisectoriales a las comunidades afectadas por los sistemas automatizados. Los enfoques sensibles a las diferentes realidades sociales son indispensables para conseguir que la tecnología de análisis automatizados dé resultados más precisos y cercanos a la realidad. Por ejemplo, en el seguimiento que se hizo de los móviles para el estudio del Gobierno español acerca de la movilidad y el trabajo, no se tuvo en ningún momento en cuenta la existencia de trabajos precarizados fuera del ámbito del horario de oficina, normalmente indicativo de condiciones laborales más privilegiadas, ni tampoco se consideró el eterno invisibilizado trabajo de cuidados. Es evidente que existe la necesidad de cuestionar cómo se están tomando las decisiones acerca de qué datos recoger.
  • 28. 28 Hoy en día, la narrativa ética en el campo de la IA se está llevando a cabo generalmente por personas tecnólogas, por empresas del sector TIC y en ocasiones por algún perfil más humanista. Se obvian las organizaciones de la sociedad civil y a la ciudadanía. Por eso esindispensable crear infraestructuras de participación y debate en las que se amplíe la variedad de voces y perspectivas. Sin embargo, aunque la administración pública parece hacer esfuerzos crecientes en la buena dirección, existe una falta de cocreación de políticas públicas con las personas, más allá del personal técnico y administrativo. Otro problema clave es que el foco actual sobre el desarrollo de la inteligencia artificial se pone sobre la ética, y los derechos humanos no tienen normalmente un espacio propio. Quién podría darle ese enfoque, sin embargo, no se ve capaz. Las organizaciones de derechos humanos tienen poco conocimiento acerca de la IA, lo cual enlaza con el siguiente problema planteado, que es la falta generalizada de conocimiento y divulgación sobre inteligencia artificial y derechos humanos. No se cuestiona la necesidad de implantar sistemas de inteligencia artificial porque se da por hecho que existe una necesidad de automatizar procesos. Es necesario divulgar y comunicar para crear nuevos marcos cohesionados y compartidos acerca de la inteligencia artificial, así como fomentar el pensamiento crítico acerca del desarrollismo y el progreso asociado a la automatización. Propuestas de Algorights ● Romper con la idea de que sólo los perfiles tecnológicos tienen derecho a opinar y decidir acerca de la inteligencia artificial e incorporar conceptos sociotécnicos en el debate y en la concepción de políticas. ● Buscar metodologías y espacios que permitan a la ciudadanía participar en el desarrollo de estos sistemas, más allá de los buzones abiertos, teniendo en cuenta las características de cada comunidad. ● La participación debe tener lugar en todo el proceso: conceptualización, modelamiento, entrenamiento, implementación, monitorización de resultados… de forma iterativa e ilimitada en el tiempo. ● Empoderar a las organizaciones civiles y a la ciudadanía para que se sientan interpeladas a la participación en estos debates. Las primeras son expertas y garantes de los DDHH y las que vigilan su cumplimiento, por lo que deben liderar esa defensa en el ámbito digital. ● Facilitar la comprensión de la influencia de la IA en la vida diaria y las posibles vulneraciones en materia de derechos. La formación en Inteligencia Artificial no pasa por tomar clases magistrales con un enfoque técnico sobre su funcionamiento, sino por entender sus implicaciones directas y cotidianas, orientándose a posibles vulneraciones de derechos que pueden afectar a distintos colectivos. ● Comprender que la brecha digital no sólo afecta al acceso a la tecnología, sino también al conocimiento.
  • 29. 29 “Si te hablan de código, tú háblales de derechos” Es imperativo tender puentes para pasar a la acción en la construcción de una Inteligencia Artificial más justa y aliada de los Derechos Humanos Michael Donaldson Desde el 2020 se está viviendo un cambio de época, con una digitalización acelerada por la pandemia y el confinamiento. Algunos de los efectos de la digitalización son muy positivos, pero a la vez hay aspectos de las disrupciones tecnológicas que también son negativos. Teniendo en cuenta las oportunidades y los peligros, en el Ayuntamiento de Barcelona se ha querido utilizar la tecnología como instrumento, nunca como fin, para ir mejorando los servicios y políticas públicas, para mejorar la calidad de vida de los ciudadanos y ciudadanas de Barcelona. Sólo en los últimos 20 años ha habido tantas disrupciones tecnológicas y digitales como en toda la historia de la humanidad en su conjunto. El potencial es enorme, pero es indispensable dotarnos de estrategias sobre hacia dónde dirigir estas tecnologías. Esa idea es la que llevó al pleno del ayuntamiento, en junio del año anterior, a aprobar una declaración para impulsar la ética, preservar los Derechos Humanos y luchar contra las discriminaciones en las tecnologías emergentes. El objetivo de utilizar la inteligencia artificial en el Ayuntamiento de Barcelona es disponer de una tecnología que puede permitir la mejora de las políticas públicas y de los servicios públicos, para llegar de una manera más directa, más eficiente, más personalizada y garantizar los derechos y servicios digitales digitales. Uno de estos ejemplos parte de un dato alarmante: en la Unión Europea, un 30% de la ciudadanía potencialmente beneficiaria de las ayudas públicas no accede a estas ayudas por falta de conocimiento. No se trata sólo de una preocupante ineficiencia de estas prestaciones, sino que, como prestaciones orientadas a preservar el Estado de bienestar que son, sus problemas de ineficacia pueden afectar la calidad de vida y las necesidades de las personas. Hay que ir de la administración reactiva a la administración proactiva. La administración proactiva consistiría en que, a partir de los datos consentidos de los ciudadanos, la inteligencia artificial nos llevaría directamente a los ciudadanos y ciudadanas que cumpliesen el perfil para ofrecerles los servicios y las ayudas a las que son candidatos y no esperar a que las soliciten de una manera reactiva. Privacidad en la administración Es importante preservar la privacidad y los derechos relacionados con la identidad de la ciudadanía, más allá del Reglamento Europeo de Protección de Datos (RGPD). Especialmente porque existe una cierta resistencia de los ciudadanos a que las administraciones públicas
  • 30. 30 gestionen los datos de la ciudadanía, y desactivar esa resistencia requiere confianza. Sucedió hace un año, cuando el INE recabó diez millones de datos de la ciudadanía a través de sus móviles, de manera anónima y agregada, para mejorar las políticas de movilidad. El tema se acabó convirtiendo en un debate sobre cómo nos controla la administración pública. ISin reparos, la ciudadanía de todo el mundo ofrece a diario datos a Google, a Facebook y a todas las redes sociales y aplicaciones. Pero cuando es la administración pública la que solicita los datos para mejorar un servicio público, una política pública... aparecen las suspicacias. Peligros de la IA Los malos usos de las tecnologías son notorios. Desde las cajas de resonancia que se crean en Twitter y otras redes sociales que van en detrimento del debate diverso y respetuoso, hasta el caso de algoritmos creados para manipular el voto, como Cambridge Analytica. Es conocido que el proceso interno de toma de decisiones de las IA es totalmente opaco (Black Box effect) y eso complica su comprensión y control. Además, es preferible tener Good Data que Big Data y existe la discriminación, la vulneración de los derechos y la falta de ética en el uso de algunos algoritmos. Por todo ello, es inexcusable que se no introduzcan medidas para evitar ciertos riesgos. Algunos de los compromisos introducidos en la “Medida de Gobierno de la estrategia municipal de algoritmos y datos para el impulso ético de la inteligencia artificial”: ● La auditabilidad de los algoritmos en todas las tecnologías usadas en la administración pública, pero también en las que se subcontraten y que impliquen prestar servicios públicos ● Disposición de un registro público de algoritmos para consultar qué tipos de usos se dan en el ámbito de la administración ● Dotación de un Observatorio de Inteligencia Artificial Urbana, conjuntamente con el CIDOB, Nueva York y Amsterdam para monitorizar potenciales y peligros de la tecnología ● Dotación de un pacto ciudadano por el uso ético y de preservación de los derechos en el contexto de la inteligencia artificial ● Disposición de Living Labs alrededor o en paralelo a los algunos de los del o de los softwares que vayamos desarrollando como administración pública La digitalización ha conllevado grandes mejoras, al día siguiente del confinamiento, muchos pudimos seguir trabajando o seguir atendiendo nuestras clases o formaciones, pero la brecha digital sigue siendo un gran desafío. Una parte de la ciudadanía, tras esa gran digitalización, se vieron más excluidos que antes y el problema ha mutado por lo que harán falta nuevas políticas públicas para luchar contra él. Nadie debe quedar atrás, sobre todo si queremos que todo el potencial que representa Internet sea compartido por el conjunto de la ciudadanía y no sólo por aquellos que se pueden permitir el acceso al uso, a los dispositivos y especialmente a la alfabetización y capacitación digital.
  • 31. 31 Ismael Peña-López Para poder atender realmente a los conceptos de inclusión total o brecha digital, hay que introducir el del ecosistema de gobernanza pública que nos dé las herramientas que permitan que todo el mundo tome decisiones que afectan a lo público cada día. Un conjunto de actores, de espacios e instrumentos, más distribuido y más local, que permita una auténtica revolución en la participación ciudadana. “No contemplemos a la administración como a unos señores que han ganado elecciones, están en la administración y deciden todo para que luego, de vez en cuando, pasen el PDF a la ciudadanía para que firme o corrija detalles” Hay que pensar cómo contar con todo el mundo que concurre a una política pública, ya sea de forma informal o formal, y cómo conseguir que el monopolio de la toma de decisiones públicas que tiene la Administración, igual que lo tiene de la violencia o de la creación de leyes, deje de ser un monopolio y se abra y pase a convertirse en una infraestructura, una plataforma sobre la cual otros actores, más diversos, operan. Dejar de entender la toma de decisiones públicas como un proceso jerárquico que pasa solamente dentro de las instituciones, sino como un ecosistema que además muchas veces funciona en el régimen informal, a pie de calle. Convertir esos espacios y sus intervenciones en política, capitalizar e institucionalizar los debates que se desarrollen, pasa por ver cómo el ciclo de la política pública incorpora esta concurrencia de diferentes actores, delimitando en cada fase qué va a pasar: cuando toca definir la problemática, cuándo se pasa al diagnóstico, cuándo deliberar, hacer propuestas y decidir, y en cada caso dejando bien claro de qué se está hablando. También es imprescindible que la Administración incorpore lógicas deliberativas desde la deliberación o del diagnóstico de la problemática hasta la evaluación final, asegurando por el camino, también, que la comunicación entre departamentos sea fluida, que no es sencillo. Las herramientas para estos procesos deliberativos y participativos tienen muchas formas: consejos ciudadanos, asambleas ciudadanas, iniciativas legislativas populares, consultas no refrendarias, etcétera, y hay que intentar que exista la máxima flexibilidad y apertura en la composición de sus participantes. Al final, el objetivo del ecosistema de gobernanza pública es crear un grupo motor de cada proyecto que sea lo más representativo posible, e intentar que llegue un momento en que la administración se retire totalmente del proceso, que tome el papel que toque en cada momento. Hay momentos en que la administración tiene que legislar o ejecutar, pero en otros pasos del proceso sólo debería funcionar como facilitadora, poniendo dinero, o información.
  • 32. 32 Propuestas de desarrollo ¿Cómo conseguir ese ecosistema de gobernanza pública? 1- Por una parte, hay que articularlo para que todos los actores se sienten en la misma mesa. Hace cinco años que está en funcionamiento la red de gobiernos transparentes, de la cual forman parte la Generalitat, las diputaciones y varios consorcios y asociaciones del mundo local para alinear estrategias. No se trata de que todos hagan lo mismo o que se coordinen del todo, sino de conseguir ese trabajo distribuido en el que cada uno va a sumar por su parte. 2- Debe basarse en redes que actúen de plataforma, como participacatalunya.cat, donde todos los actores que trabajan en participación intercambian conocimiento, datos, información, estén informados sobre qué acciones formativas, formales o informales hay en el entorno y sobre todo, que incluyan comunidades de práctica y de aprendizaje que trabajen juntas. Un portal que tenga personas dinamizando, aportando la información necesaria en cada paso y la metodología de deliberación, etcétera. 3- El concepto se apoya también con herramientas como la comunidad Decidim, una gran plataforma que precisamente permite abrir el monopolio de la toma decisiones públicas para democratizarlas. Su software lo puede utilizar cualquiera: la administración, por supuesto, pero también una cooperativa de agroconsumo, una federación de vecinos, un sindicato o un partido político. 4- Con el fin de acercarlo más a la ciudadanía, haciendo frente a retos como la brecha digital y la necesidad de llegar a la gente que nunca va a participar porque no se siente interpelada, o no se siente acompañada, existe el proyecto Participa Lab. Su idea es que 1500 equipamientos públicos que hay en toda Cataluña, que ya cuentan con un contacto muy estrecho con los ciudadanos (bibliotecas, telecentros, centros cívicos, Fab Labs, etcétera), puedan incorporar una capa de innovación ciudadana, de innovación democrática, para facilitar que todo el mundo se sume a la participación. 5- Formación tanto en escuelas como en entidades del Tercer Sector Social para democratizarse, para que las primeras puedan ser una palanca de democratización y las segundas, especialmente aquellas entidades que trabajan con un público destinatario que muchas veces tiene que codefinir los servicios que van a recibir, democraticen sus estructuras internas. CONCLUSIONES Cuando hablamos de participación, muchos miran a la administración, lo cual es lógico, pero la experiencia nos cuenta que lo que funciona es lo básico, es decir, cuidar la comunidad. La administración tiene que cuidar a la ciudadanía, pero la organización tiene que cuidar a sus bases, tenerlas informadas y movilizadas, y democratizarse. Hay que conseguir que las estrategias para fomentar las políticas públicas digitales se construyan siempre de abajo hacia
  • 33. 33 arriba, pero para hacer incidencia en la administración o entre el público en general es mucho más fácil si se incluye, escucha y articula la comunidad. Asimismo, las organizaciones sociales también deben reclamar su espacio y su papel en esta revolución digital. Sobre todo porque, al final, la democracia es tomar decisiones y si cada vez se automatizan más, lo que estamos haciendo es empobrecerla. ANEXOS Preguntas y reflexiones ¿Existe el riesgo de "culpabilizar" a las comunidades vulnerables por no participar activamente en los procesos de co-creación? (dada su propia vulnerabilidad, a no ser que sea de forma profesional) En realidad, no se busca que la gente participe, ya que es un proceso que toma mucho tiempo y es pesado. El tema es cómo incorporar a estas personas en el día a día del diseño de las políticas. No se trata de esperar a que las personas, que son quienes conocen de más de cerca las problemáticas sociales cotidianas, se acerquen al Ayuntamiento y trabajen en proyectos de participación que incluyan dinámicas con notas adhesivas, que un punto de contacto, una persona cercana, se acerque ahí donde viven e interactúan, para escuchar sus opiniones. Llegar ahí donde los ciudadanos ya están deliberando con sus acciones, decisiones e ideas. Se habla de la accesibilidad, de cómo acceder a los colectivos más precarizados, vulnerabilizados y más afectados por la brecha digital, pero la cuestión es cómo llegar allí donde están ellos. Muchos estudios demuestran que dentro de las estructuras de participación actuales se replica las estructuras sociales, es decir: existen una serie de privilegios y situaciones interseccionales que dificultan la participación plena de todos los colectivos. No se trata de hacer que la administración se vuelva más accesible, sino que sea la administración quien vaya a buscar estas personas y sus realidades. La administración debe ser proactiva, pero la política también. Las instituciones se tienen que abrir y acercarse, multiplicando todo tipo de metodologías, canales, espacios, como el proyecto “Decidim”. Hay diferentes niveles de implicación que se pueden facilitar según el tiempo, la dedicación o el compromiso invertidos. Hay gente que ya se siente implicada a través de un presupuesto participativo o con una propuesta, otros con el simple voto en una consulta, por tanto, deben abrirse multitud de canales y opciones de participación. ¿Qué estrategias de interpelación de la sociedad civil, organizaciones y comunidades se tiene pensado llevar a cabo para romper ese “techo de cristal techie”? El secreto está en ver dónde está la gente y hacer llegar allí los recursos de deliberación y participación, donde cada actor aporta lo que tiene para posibilitar el proceso distribuido. En el caso de la administración, que facilite el dinero, el conocimiento, las personas, los espacios
  • 34. 34 físicos y transportes… para luego entrar cuando se llegue a consensos. Que la oportunidad de deliberar aparezca en entornos cívicos y sociales que ya están en uso. Abaratar la participación en términos de coste-beneficio personal para conseguir que, sobre todo, la gente se vea interpelada. El problema es la “caja negra” que supone para la mayoría de la sociedad la Inteligencia Artificial o todo lo que está relacionado con la digitalización. En una charla reciente sobre Inteligencia Artificial y algoritmos en una escuela se comprobó que los algoritmos, en su uso para la recomendación de contenidos, son vistos de forma positiva, pero la percepción cambiaba cuando era explicado el caso de algoritmos que pretendían decidir de forma automática la puntuación de exámenes en el Reino Unido. Este pequeño ejemplo demuestra la necesidad de explicar llanamente qué afectaciones tienen estos sistemas en el día a día de las personas afectadas. Es imprescindible hacer un esfuerzo extra en buscar ejemplos y referentes cercanos, contextualizar la comunicación a las casuísticas más próximas de los interlocutores, para entonces transmitir los conceptos de forma más eficaz ¿El registro de algoritmos incluirá el código fuente de los algoritmos en cumplimiento de su medida de gobierno sobre código abierto y respetando el concepto de “public money, public code”? Todos los algoritmos serán auditables, los del registro público también, especialmente los que se desarrollen desde el Ayuntamiento. El concepto de “public money, public code” se intenta seguir, pero no se cumple al 100%., ya que existen colaboradores privados con los que hay que convivir para dotar de ciertas infraestructuras. Lo más importante es que cuando se preste un servicio público los derechos de las personas estén garantizados, que haya la máxima transparencia y que los algoritmos se puedan auditar. Enlaces relacionados de interés 3ª mesa ● L’Estat com a plataforma: la participació ciutadana per la preservació de l’Estat com a bé comú: https://ictlogy.net/bibliography/reports/projects.php?idp=3935 ● El ecosistema de gobernanza público: https://ictlogy.net/bibliography/reports/projects.php?idp=4256