New tools for internal and external control of local sector public spending

1. El control externo
y el uso de
algoritmos en el
Sector Local
Enrique J. Benítez Palma
Observatorio OdiseIA
XIV Encuentros Técnicos OCEx
3 de Diciembre 2021

2. Nuestra aportación desde OdiseIA,
Trabajar activamente por un uso ético y responsable de la Inteligencia Artificial

3. ESQUEMA
El uso de algoritmos para “agilizar” la gestion pública
Problemas detectados
Casos internacionales de uso de algoritmos en el sector local
España y el uso de algoritmos en la Adm. Local
Conclusiones e ideas para el debate.

4. Ejemplo 1

5. Ejemplo 2

6. Ejemplo 3

7. Holanda:
Informe de
Aministía
Internacional

8. Algoritmos
FATEN (Nuria
Oliver)
http://www.nuriaoliver.com/papers/Oliver_
FATEN.pdf
Además, el futuro de la ciencia de datos pasa inexorablemente por tratar los datos con los
algoritmos FATEN, cuyas características son:
- F de fairness (justicia), que atienda a la no discriminación y a la cooperación;
- A de autonomy, accountability y augmented (autonomía, rendición de cuentas y aumento), en
referencia a la necesidad de preservar el valor humano de la soberanía, de una responsabilización
clara y de los modelos que aumenten -y no reemplacen- a la inteligencia humana;
- T de trust y de transparency (confianza y transparencia);
- E de education y beneficence (educación y beneficencia),
- N de non-maleficence: minimizar los aspectos negativos, asegurar que hay un nivel mínimo de
fiabilidad, seguridad, reproducibilidad, prudencia… siempre preservando la privacidad de las
personas.

9. Debate: Ética vs. Regulación (Europarl 2020)
• Aspectos clave sobre la ética de la IA (Aphaia.co.uk)
• Conforme al estudio, hay seis elementos principales de la IA que deberían
abordarse en lo que se refiere a la implementación ética de los algoritmos y
sistemas:
• Transparencia. Los legisladores necesitan tratar con tres puntos esenciales: la
complejidad de las soluciones de IA, la ofuscación intencional de aquellos que los
diseñan y la dificultad de explicar cómo un input concreto se convierte en un output
específico.
• Sesgos e imparcialidad. Los datos de entrenamiento se consideran cruciales en este
contexto y es necesario definir los conceptos de “justicia” y “precisión”.
• Contextualización de la IA en la sociedad en que ha sido creada y clarificación del
papel de la sociedad en dicho desarrollo.
• Rediseño de la evaluación de riesgos para que sea relevante a los efectos
perseguidos.
• Evaluaciones éticas de la tecnología (eTA). El eTA es un documento escrito que
busca recoger el diálogo entre la persona que se encarga de la ética y aquella
responsable de la tecnología, y recoge una lista de problemas éticos relacionados
con la aplicación de la IA, con la finalidad de identificar todos los posibles riesgos y
evitar las hipotéticas consecuencias negativas.
• El estudio propone una serie de alternativas que podrían ser adoptadas por los
legisladores en el Parlamento Europeo:
• Certificados de higiene de datos obligatorios (DHB) para todos los desarrolladores
de IA a fin de que sean elegibles para vender sus soluciones al gobierno y a
administraciones e instituciones públicas. Este certificado no exigiría análisis del
software propietario y tampoco obligaría compartir datos con la competencia.
• Evaluaciones éticas de la tecnología obligatorias (eTA) para todos los gobiernos y
organizaciones que empleen sistemas de IA, a desarrollar de forma previa a la
implementación de la tecnología.
• Obligatoria definición clara de las metas perseguidas con el uso de IA en lo que se
refiere a administraciones públicas e instituciones gubernamentales. El propósito es
evitar un uso genérico de la IA en la Sociedad con la intención de que se aprenda un
“algo” desconocido. En su lugar, debe haber un específico y explícito “algo” que
aprender.
• Informe obligatorio de rendición de cuentas que debe ser elaborado por todas las
organizaciones que utilicen sistemas de IA, como respuesta a los problemas
identificados en el eTA.

10. Resumen
parcial
Uso de algoritmos para tomar decisiones públicas
autónomas (sin intervención humana) o automáticas:
Problema de los DATOS.
Problema de los SESGOS/DISCRIMINACIÓN.
Problema de la EXPLICABILIDAD/LEGITIMIDAD.
Problema de la APELACIÓN / IMPUGNACIÓN.

11. Algoritmos y
Administración
Local: Inglaterra

12. Big Brother Watch
• Algunos datos aparentemente triviales adquieren una importancia
injustificada, mientras que los algoritmos defectuosos pueden introducir
prejuicios y discriminación y pueden infringir las leyes de protección de
datos.
• "Y lo que es peor, la influencia de las empresas tecnológicas privadas y la
escasa transparencia hacen que los riesgos para los derechos de las
personas no se cuestionen", afirma el grupo.
• Dice que los algoritmos se han utilizado para:
• asignar en secreto puntuaciones de riesgo de fraude a 540.000 personas
antes de que puedan acceder a las ayudas a la vivienda o a los subsidios
municipales
• procesar los datos personales de 1,6 millones de personas usuarias de
viviendas sociales para predecir los retrasos en el pago de los alquileres
• predecir la probabilidad de que más de 250.000 personas se queden sin
hogar, sin trabajo o sufran abusos
• Las personas definidas como de alto (20%) o medio riesgo (25%) por el
programa informático son sometidas a un interrogatorio adicional
cuando se estudian sus solicitudes de prestaciones, afirma Big Brother
Watch.

13. Centre for Data Ethics and Innovation (CDEI)

14. Reino Unido: explicar las
decisiones
• Introducción
• Parte 1 Los fundamentos de la explicación de la IA
• Definiciones
• Marco legal
• Beneficios y riesgos
• ¿Qué implica una explicación? ¿Cuáles son los factores contextuales?
• Parte 2: Explicación de la IA en la práctica
• Resumen de las tareas a realizar
• Tarea 1: Seleccionar las explicaciones prioritarias teniendo en cuenta el ámbito, el caso de uso y el impacto en
las personas.
• Tarea 2: Recoger y preprocesar los datos teniendo en cuenta las explicaciones.
• Tarea 3: Construir su sistema para asegurarse de que es capaz de extraer información relevante para una serie
de tipos de explicaciones.
• Tarea 4: Traduzca la lógica de los resultados de su sistema en una explicación utilizable y fácilmente
comprensible.
• Tarea 6: Considera cómo construir y presentar tu explicación
• Parte 3: Qué significa explicar la IA para su organización
• Roles y funciones de la organización para explicar la IA
• Políticas y procedimientos
• Documentación

16. Ejemplo 2

18. La situación en
España

19. Barcelona:
Estrategia
Municipal

20. Andalucía
• Observatorio Sector Público
e Inteligencia Artificial
• Profesor Gabriele Vestri
(Universidad de Cádiz)
• Survey: no ha encontrado
casos de uso de IA en Aytos.
Encuestados.

21. Inventario del JRC / Comisión Europea

23. España puede
• El Plan de Recuperación prevé el despliegue de los siete planes
estratégicos que desarrollan la agenda España Digital 2025: el Plan de
Conectividad, la Estrategia de Impulso 5G, la Estrategia Nacional de
Inteligencia Artificial, el Plan Nacional de Competencias Digitales, el Plan
de Digitalización de las Administraciones públicas, el Plan de
Digitalización de las pymes y el Plan España Hub Audiovisual de Europa.
Estos objetivos, se alinean a su vez a los marcados por la nueva estrategia
digital para Europa.
• En primer lugar, y en línea con las inversiones del componente 11, se
impulsará la digitalización de las Administraciones públicas,
particularmente con proyectos tractores en ámbitos clave como el
empleo, la seguridad social y las políticas de inclusión, la Justicia,
simplificando la relación con la ciudadanía y consiguiendo que 150.000
empleados públicos estén perfectamente habilitados y formados para el
teletrabajo. El refuerzo de la ciberseguridad en el ámbito público
constituye una de las prioridades del Plan, con el fin de contribuir a la
seguridad, la autonomía estratégica y la resiliencia del conjunto de la UE.

24. Convocatoria
de ayudas 25
junio 2021

26. Competencias digitales

27. ¿Qué puede hacer el
control externo?

28. White paper
for Public
Auditors

29. Resumen
Por lo tanto, podría ser conveniente o bien auditar los sistemas de ML en equipos
compuestos por auditores especializados, auditores de TI y científicos de datos, o
bien centrarse en un componente (ciencia de los datos o auditoría clásica de TI)
sin perder de vista el otro componente. Los equipos que carecen de la experiencia
necesaria en la ciencia de los datos podrían estar bien aconsejados para confiar
en la experiencia de sus colegas de la ciencia de los datos, mientras que los
equipos que carecen de experiencia en las auditorías de TI clásicas estarían bien
aconsejados para delegar ciertos aspectos de la auditoría a auditores de TI más
experimentados. Este enfoque equilibrado garantiza que ningún aspecto del
sistema quede sin auditar debido a una posible falta de conocimientos o de
herramientas.
La primera fiscalización de un sistema con componentes de LD realizada por el
Bundesrechnungshof, la SAI alemana, aplicó con éxito el enfoque descrito
anteriormente: el equipo de fiscalización estaba compuesto por un auditor
especializado con un buen conocimiento de la organización fiscalizada y dos
auditores técnicos (uno con formación en informática y otro en ciencias
naturales). Los auditores fueron contratados en sus respectivas unidades de
auditoría para formar el equipo de auditoría de ML para esta auditoría específica.
• Datatilsynet, la autoridad noruega de protección de datos, resumió los retos
más importantes relacionados con el uso de datos personales en algoritmos
de ML en un informe específico. Las consideraciones relevantes para el
auditor son:
• Limitación de la finalidad: Los datos personales sólo pueden recogerse para
un fin específico y expresamente indicado. Cualquier tratamiento posterior
debe ser compatible con la finalidad original, con algunas excepciones
limitadas para la investigación científica.
• Minimización de los datos: El uso de los datos personales debe limitarse a lo
necesario para cumplir el propósito para el que fueron recogidos. Esto es un
reto durante el desarrollo del ML, donde los datos se utilizan a menudo en el
entrenamiento para probar posteriormente su impacto en el rendimiento.
Incluso si los datos personales no se utilizan en el algoritmo final, este
procedimiento de prueba ya cuenta como tratamiento de datos personales y,
por tanto, está protegido por el Reglamento General de Protección de Datos
(RGPD) de la UE. Por lo tanto, para los auditores es importante revisar tanto
las variables utilizadas en el algoritmo final y su importancia para el
rendimiento, como el proceso de desarrollo.
• Proporcionalidad: El principio de minimización de datos también restringe el
grado de interferencia con la privacidad de una persona. La cantidad y la
naturaleza de los datos utilizados tienen que ser proporcionales a la finalidad
y lo menos invasivos para el interesado (por ejemplo, el reconocimiento facial
para medir la asistencia a la escuela se considera desproporcionado aunque
se haya obtenido el consentimiento).
• Transparencia: La posibilidad de explicar los procesos y las decisiones es un
requisito general de los servicios públicos, que no se limita a la utilización de
datos personales, pero que es aún más importante si se trata de datos
personales. Este aspecto se trata en detalle en la metodología de auditoría de
ML propuesta.
• Si el uso del ML supone un alto riesgo para los derechos y libertades de las
personas, es obligatorio realizar una evaluación de impacto sobre la
protección de datos (DPIA).

30. Resumen

31. Países Bajos:
papel del control
externo
(Netherlands
Court of Auditors:
Audit framework
for algorithms)

32. Cinco
grandes
claves
Privacidad.
Igualdad de trato – No discriminación.
Derecho a la tutela judicial efectiva.
Ejercicio de las potestades administrativas.
Reglamento Europeo: Sistemas de Alto Riesgo (High Risk Artificial
Intelligence Systems – HRAIs). Derechos fundamentales.

33. La gobernanza del control externo
Data-driven Public
Administration
¿Automatización del
Gasto Público?
Control: Sociedad Civil
(Amnesty,
BigBrotherWatch,
AlgorithmWatch,
Montreal AI Ethics, …).
Riesgo de elusión de
controles por capacidad
técnica
En otros países, las SAIs
han tomado la iniciativa

34. Lecturas sugeridas en castellano
• Isaac Martín Delgado (UCLM): https://dialnet.unirioja.es/servlet/articulo?codigo=3209548
• Juli Ponce (UAB): http://laadministracionaldia.inap.es/noticia.asp?id=1509505
• Alejandro Huergo (UOV)
• http://www.aepda.es/AEPDAEntrada-3222-Regular-la-inteligencia-artificial-en-Derecho-administrativo.aspx
• Eduardo Gamero (UPO)
• https://almacendederecho.org/necesidad-de-motivacion-e-invalidez-de-los-actos-administrativos-sustentados-en-inteligencia-artificial-o-en-
algoritmos
• Adrián Todolí (UV):
• https://adriantodoli.com/2020/10/13/nuevo-articulo-publicado-retos-legales-del-uso-del-big-data-en-la-seleccion-de-sujetos-a-investigar-por-la-
inspeccion-de-trabajo-y-de-la-seguridad-social/
• José María Goerlich (UV): https://e-revistas.uc3m.es/index.php/LABOS/article/view/6215/0
• Alba Soriano Arnanz (UV): https://dialnet.unirioja.es/servlet/articulo?codigo=7742722
• Observatorio UV (Lorenzo Cotino): https://www.uv.es/fatwireed/catedra-pagoda/es/observatorio/-observatorio-/contribuciones.html
• Gabriele Vestri (UCA): https://dialnet.unirioja.es/servlet/articulo?codigo=7971161
• Susana de la Sierra (UCLM): https://derecholocal.es/opinion/control-judicial-de-los-algoritmos-robots-administracion-y-estado-de-derecho
• Agustí Cerrillo (UOC): https://dialnet.unirioja.es/servlet/articulo?codigo=7646480

35. El control externo y el
uso de algoritmos en el
Sector Local
• Enrique J. Benítez Palma
• XIV Encuentros Técnicos de los OCEx 2021 (Santiago de Compostela)
• 3 de Diciembre 2021
• enrique.benitez@odiseia.org