Mi punto de vista: el único parámetro por el que mediría los sistemas de IA es si resuelven, o no, problemas humanos. Lo contaré con casos reales, impactos sociales, y reflexiones.
Después de años estudiando el impacto social de las decisiones automatizadas y el perfilado sigo pensando lo mismo que al principio: no estamos solucionando los problemas sociales que esta tecnología está ocasionando.
Así que entré en un gran dilema moral. Dos fuerzas que tiraban hacia lados opuestos: Por un lado, quiero seguir leyendo, investigando, reflexionando y escribiendo papers con gente brillante. Alimenta tus conocimientos, amplías tu visión del mundo, conoces a gente estupenda.
Por otro, mi lado práctico me dice: ¿cuántos problemas humanos están resolviendo? ¿cómo están cooperando las diferentes organizaciones para paliar los efectos perniciosos de las decisiones automatizadas y el perfilado? Y la única verdad es que, no se están resolviendo.
Pero, vamos a ahondar un poco más en este problema porque no es tan obvio. Qué problemas sociales se deben resolver, y qué deberíamos entender por una sociedad próspera.
Nick Hanauer y Eric Beinhocker dicen que la diferencia entre una sociedad pobre y una próspera no es el dinero que hay en circulación, sino disponer de cosas que crean bienestar: antibióticos, alimentos seguros, la posibilidad de viajar, y un largo etc.
Nick Hanauer y Eric Beinhocker participaron en SOLUTIONS, el documental sobre el workshop en Santa Fe Institute organizado por Steen.
Es decir, es la disponibilidad de estas «soluciones» a los problemas humanos -cosas que mejoran la vida en términos relativos- lo que nos hace prósperos. Esta es la definición de una sociedad próspera.
Por lo tanto, la prosperidad en las sociedades humanas no puede entenderse adecuadamente, ni puede ser medida, atendiendo únicamente a los parámetros monetarios de la renta o la riqueza. La prosperidad en una sociedad es la acumulación de soluciones a los problemas humanos.
Y ahora llega mi gran pregunta: ¿cómo pretende nuestra sociedad solucionar problemas humanos y dar bienestar a nuestra sociedad delegando estas decisiones en sistemas de IA? ¿Se pueden automatizar estas decisiones? ¿cuáles sí, y cuáles no?
Vamos por partes. ¿Qué valores son los que imperan en Europa? La dignidad humana. Es el primer capítulo y el primer artículo de la Carta de los Derechos Fundamentales de la UE. Es la base real de los Derechos Fundamentales y el fundamento de la Justicia, la Libertad y la Paz.
El tratamiento de datos personales impulsado por sistemas de IA debe realizarse de manera que se respete la dignidad humana. Sitúa al ser humano en el centro de las discusiones y acciones relacionadas con la IA. El respeto a la dignidad humana ES EL PARÁMETRO.
El ahorro y la eficiencia no deben ser las prioridades absolutas del gobierno (el respeto a la dignidad humana decidirá cuando lo será). Hacer las cosas bien, a veces, lleva más tiempo y cuesta más, y en muchos casos las decisiones automatizadas no son la respuesta.
Los programas de automatización y digitalización deben dejar de priorizar estas lógicas de mercado como la eficiencia y el ahorro de costes, y deben priorizar el Estado de Derecho, la legitimidad democrática, responsabilidad pública, no discriminación y, lo que es más importante tienen que poner los Derechos Humanos en el centro, no sólo los derechos civiles y políticos, sino los socioeconómicos, tan denostados y olvidados en muchas ocasiones.
Vamos a bajar más a tierra esta reflesión. Si el sector público tiene la obligación de respetar y garantizar los Derechos Fundamentales, ¿se puede dejar en manos de decisiones automatizadas las decisiones administrativas? ah! aquí hay truco.
Pues resulta que esto podría poner en tela de juicio el Estado de Derecho. El problema es la imposibilidad de explicar el resultado de las decisiones administrativas (impensable), lo que lleva a repensar cómo interpretar la transparencia y la responsabilidad en la era de la IA.
En España tenemos varios ejemplos de algoritmos usados por organismos públicos. Están resolviendo muchos casos, pero debido a la gravedad del impacto, como es el caso de proporcionar, o no, protección a una mujer maltratada, el impacto negativo supone la muerte de una persona.
Veripol, desarrollado para que el Cuerpo Nacional de Policía detecte denuncias falsas, y RisCanvi, que ayuda a los jueces en Cataluña a calcular el riesgo de reincidencia de los presos para que puedan acceder o no a la libertad condicional.
VioGén, el algoritmo usado por el Ministerio del Interior para asignar riesgo a las mujeres que buscan protección tras sufrir violencia machista.
VioGén:
Negativo:
a. Su declaración no va íntegra al sistema. Los agentes tienen que interpretar lo que las mujeres les cuentan en indicadores que pueden estar, o no, presentes.
b. 55 mujeres que fueron asesinadas porque recibieron una asignación de riesgo bajo.
c. El sistema da mayor protección a denunciantes con hijos que a aquellas que no los tenían.
d. Sesgo humano por machismo institucional, o falta de experiencia.
Positivo:
a. Salva y ha salvado muchas vidas, muchas más de las que han fallecido.
b. Se podrían usar esos datos para extraer patrones de conducta de maltrato y así evitar más muertes.
B. Veripol, desarrollado para que el Cuerpo Nacional de Policía detecte denuncias de robo falsas.
Negativo.
a. Muchos agentes no han recibido ese entrenamiento y algunos creen que el programa no es muy preciso.
b. La forma de la que se tramitan las denuncias no encaja con su funcionamiento.
c. Sesgos: intervienen factores de género, generacionales, de clase y étnicos: el sistema podría inconscientemente buscar palabras específicas u oraciones que usan determinados grupos demográficos.
BOSCO. El acceso a la ayuda pública del bono social, muy complicado. Tanto, que Civio diseñó una herramienta que ayudó a más de 300.000 personas a pedirlo fácilmente. Con sentencia denegatoria de liberar el código fuente del algoritmo.
Civio acudió a Tribunales para pedir a la Administración que liberase el código fuente de BOSCO. El Consejo de Transparencia les negó el derecho a escrutar su código fuente. ¿Cuáles fueron los motivos?
(i) Peligro para seguridad pública
(ii) Para seguridad nacional
(iii) Propiedad intelectual
(iv) Abuso injustificado de la Ley de Transparencia ¿Si es software pagado con dinero público no debería ser de código abierto? la opacidad es el pan nuestro de cada día.
En los Países Bajos se dictó la conocida Sentencia SyRI, para que vean que las cosas pueden tener otro resultado. El impacto social de SyRI, algoritmo que perfilaba a POSIBLES defraudadores a Hacienda y SS. Ninguno holandés, ni rico.
¿Quieren más ejemplos de impacto social negativo de decisiones automatizadas? esta vez hay suicidios, divorcios, deshaucios incluídos. Algoritmo racista, funcionarios racistas. Y no pasó en España, y tenemos que hacer para que no ocurra.
Podría seguir y seguir con muchas reflexiones acerca de nuestro sistema, de la reinterpretación de la transparencia algorítmica, pero no lo voy a hacer porque si no no acabo «más nunca», como decimos en Canarias.
Pero antes de terminar sí quiero hacer un par de comentarios:
(i) Calidad de los datos. Si sólo nos fijamos en la calidad de los datos lo ÚNICO que vamos a resolver son los sesgos técnicos y no los sociales. Para lo segundo necesitamos voluntad política e institucional.
(ii) La discriminación indirecta («Cuando una «disposición, criterio o práctica aparentemente neutra» perjudica desproporcionadamente a un grupo protegido en comparación con otras personas») según la normativa europea, es contextual. ¿Cómo pruebas esto? Suerte chaval.
En caso de que un ciudadano quiera presentar una reclamación por discriminación producida por una decisión automatizada, debe probar y acreditar fehacientemente la composición del grupo desfavorecido y favorecido, la gravedad y el tipo de daño sufrido y los requisitos de pertinencia y admisibilidad de las pruebas, requieren decisiones normativas o políticas que deben ser tomadas por el poder judicial caso por caso.
Por eso, es crucial que desde el diseño se incorpore a un comité ético. Seremos un grano en sus posaderas, pero nuestro trabajo es que no se dé ninguno de estos impactos devastadores en la sociedad. No saben la de dilemas que resolvemos, y la de impactos negativos que evitamos.
Auditar un sistema ya implementado, no sólo hace que sea más difícil/imposible modificarlo, sino que además, ya produjo el daño, que puede ser la muerte de una o más personas, pero sirve para que nos demos cuenta del impacto de la tecnología en nuestras vidas diarias.
Como siempre, gracias por leerme. No hay nada más fuerte que una sociedad informada. People have the power.