Decisiones algorítmicas que desintegraron familias por la presión de ser objeto de investigaciones hostiles y de políticas despiadadas de recuperación de prestaciones. Hogares rotos por el desempleo, desalojo de sus hogares por no poder pagar el alquiler o las hipotecas. Ausencia de medios económicos para alimentar a sus hijos, la salud mental deteriorada hasta límites muy lamentables debido a la angustia financiera y psicológica que sufrieron por verse sumidos en la pobreza extrema.
¿Es el guión de una película de terror? No. Desgraciadamente, es la vida real. Este fue el impacto social de las decisiones automatizadas y perfiles personales a través de algoritmos de machine learning que se usaron en los Países Bajos para detectar el fraude de las prestaciones concedidas por el gobierno para el cuidado de niños, con unos enormes tintes racistas y xenófobos.
Como resultado, una parte del gobierno holandés dimitió, 55 familias presentaron una denuncia por discriminación racial contra la agencia tributaria holandesa por el uso de perfiles étnicos en una campaña antifraude.
Pero el daño ya estaba hecho. ¿Qué pasó realmente?
La Agencia Tributaria sometió a un escrutinio extra a través de sistemas de Inteligencia Artificial a más de 20.000 padres como defraudadores, etiquetados erróneamente. La mayoría de ellos eran familias de bajos ingresos y de minorías étnicas. La Agencia Tributaria utilizó la información sobre si un solicitante tenía la nacionalidad holandesa como factor de riesgo y los no holandeses recibieron puntuaciones de alto riesgo.
El diseño del algoritmo reforzaba los prejuicios raciales institucionales existentes sobre la relación entre la raza y la etnia y la delincuencia, además de generalizar el comportamiento a toda una raza o grupo étnico sin una supervisión humana significativa. Los padres que fueron identificados por las autoridades fiscales como defraudadores no recibieron durante años respuestas a las preguntas sobre lo que habían hecho mal. ¿Se imaginan estar sumidos en esa angustiosa situación durante años?
El diseño del sistema algorítmico utilizado incluía perfilado racial para determinar si las solicitudes de prestaciones para el cuidado de los hijos se marcaban como incorrectas y, por lo tanto, fraudulentas.
En un informe de la Autoridad de Protección de Datos neerlandesa, se puso de manifiesto que se utilizaba un algoritmo de Machine Learning para clasificar las solicitudes de prestaciones. Se describe en ese informe (en holandés, por cierto) que modelo de clasificación de riesgos servía de primer filtro. El segundo filtro lo hacían los funcionarios. Examinaron las reclamaciones marcadas como de mayor riesgo que, casualmente, pertenecían a padres con doble nacionalidad. Sin ningún tipo de investigación adicional marcaron las reclamaciones como fraudulentas.
Los padres fueron tachados de defraudadores por errores menores como la falta de firmas en la documentación, y se les obligó errónea e injustamente a devolver decenas de miles de euros, previamente concedidos por el gobierno, para compensar el coste del cuidado de los niños, sin darles la posibilidad de repararlo a través de otros medios, sin darles la oportunidad de defenderse o de explicarse.
Primero, los funcionarios de Hacienda, los políticos, los jueces y los funcionarios públicos los dejaron indefensos. Acto seguido, el sistema los aplastó, los aniquiló sin ningún tipo de compasión.
Lo peor de todo es que todo esto se hizo con una ausencia total de responsabilidad porque cuando se señalaba a una persona como riesgo de fraude, un funcionario debía realizar una revisión manual sin informarle de por qué el sistema había generado una puntuación de mayor riesgo.
De nuevo, la sombra del uso de decisiones automatizadas para decisiones de ámbito público sin posibilidad de dar una explicación sobre por qué el sistema lo decidió así. Esto, ni más ni memos, va en contra del Estado de Derecho.
Aparece ante nosotros la opacidad de los algoritmos, que impidió revisar qué parámetros se usaron para determinar estos perfiles y tomar estas decisiones devastadora. El resultado, ausencia de responsabilidad y supervisión. Total impunidad.
Dimisión del gobierno
La responsabilidad política del escándalo recayó en el gabinete de Rutte, que decidió colectivamente dimitir. Pero, en realidad, tampoco tuvo mucha repercusión política porque el Partido Popular para la Libertad y la Democracia de Rutte, ganó un cuarto mandato en las elecciones.
El gobierno asumió la responsabilidad política, pero con muy poco coste político.
Veinte de las familias implicadas emprendieron acciones legales alegando negligencia criminal por falta de buen gobierno, discriminación racial y violación de los derechos de Derechos Fundamentales del Estado de Derecho.
El gobierno ha reservado más de 500 millones de euros en concepto de indemnización, unos 30.000 euros por cada familia.
Soluciones
Pero, llegados a este punto, yo vuelvo a insistir en algo que llevo insistiendo hace tiempo, y es que, la transparencia debe ser un medio, y no un fin.
Muchas de las conversaciones sobre las Decisiones Automatizadas (ADM) se dirigen a la transparencia y a la responsabilidad como las respuestas a la opacidad. Pero creo que la transparencia no es siempre la forma de tratar estas cosas.
Tenemos que estar pensando en el papel de la transparencia en un contexto mucho más amplio, un contexto que aborde la legitimidad (si el sistema de Inteligencia Artificial era malo y se estaba utilizando para algo que no podía ni sabía hacer) y el papel de las Decisiones Automatizadas.
Necesitamos entender el proceso desde la concepción misma del sistema de Inteligencia Artificial, y eso incluye cosas como el encargo o la adquisición del sistema, incluye el desarrollo y el diseño del modelo, e incluye la propio Decisión Automatizada, (el equipo humano que decidió que la detección del fraude debía hacerse vía decisión algorítmica, sus sesgos raciales, el equipo desarrollador de ese algoritmo).
Incluyendo cualquier investigación de las consecuencias del uso de ese sistema (impacto social), pero también incluye una auditoría o investigación que va después, y esa es la transparencia que se necesita, para que los reguladores, los tribunales y los organismos de supervisión puedan entender realmente lo que está pasando.
Necesitamos una especie de transparencia extendida a lo largo de todo el proceso para poder entender lo que está pasando.
Necesitamos un cambio de instituciones. El argumento de que las personas sometidas a Decisiones Automatizadas necesitan entender cómo se han tomado esas decisiones, sobre todo cuando se trata de la gestión administrativa de las empresas del sector público, es un argumento inconsistente, porque aunque se les dé una explicación, no hay más remedio que comprometerse con la decisión que el sistema de Inteligencia Artificial ha tomado. Y, si no estamos de acuerdo, nos vemos obligados, de manera individual, a ir a los Tribunales a exigir una explicación que, en muchos casos nos es denegada.
Necesitamos que la Administración Pública use algoritmos de código abierto. Si es dinero público, debe ser de código abierto.
Por lo tanto, necesitamos instituciones que protejan a las personas, desde un punto de vista colectivo, en lugar de obligarla a entender cómo funcionan estos sistemas. Instituciones que hagan el trabajo que he descrito en este último apartado de Soluciones, que apliquen la transparencia desde los inicios de la concepción del mismo sistema, y que no se ciñan a la transparencia algorítmica porque sino perderemos el contexto en el que se aplican esas decisiones automatizadas y su impacto social.