¿Qué es una sociedad próspera?
Para Nick Hanauer y Erick Beinhocker es la disponibilidad de cosas lo que crea prosperidad: alimentos seguros, antibióticos, aire acondicionado, la posibilidad de viajar, e incluso cosas más superficiales como es jugar a videojuegos.
En resumen, tener soluciones a los problemas humanos es lo que nos hace más ricos como sociedad, no el dinero en circulación.
Ahora, hablemos el ChatGPT. Veamos si convierte nuestra sociedad en una sociedad más próspera.
Una pequeña referencia histórica de las redes neuronales.
Estos dos papers se escribieron hace 30 años:
Connectionism and Cognitive Architecture: A Critical Analysis
Éste último enumera los problemas a resolver de las redes neuronales:
1. No puede representar ciertas palabras,
2. No puede aprender muchas reglas,
3. No puede aprender reglas que no se encuentran en ningún lenguaje humano,
4. No puede explicar las regularidades morfológicas y fonológicas,
5. No puede explicar las diferencias entre formas irregulares y regulares,
6. Falla en su tarea asignada de dominar el tiempo pasado del inglés,
7. Da una explicación incorrecta de dos fenómenos de desarrollo: etapas de sobrerregulación de formas irregulares como traída, y la aparición de formas doblemente marcadas como -ado, y
8. Da cuenta de otros dos (sobrerregulación poco frecuente de verbos terminados en t/d, y el orden de adquisición de diferentes subclases irregulares) que son indistinguibles de las de las teorías basadas en regla.
¿Añadir más capas ocultas sería la solución a este problema? La mayoría de los científicos no compraron esta idea.
Hoy en día siguen cometiendo los mismos problemas simples.Esta tecnología está en un callejón sin salida.
GPT-4 no nos lleva a la AGI, o Inteligencia Artificial Generativa, pero tampoco lo hará GPT-5. No es cuestión de añadir más datos.
1. El propósito de la tecnología.
David Marr, uno de los mayores héroes de la ciencia cognitiva es muy conocido por la hipótesis de los 3 niveles según el cual cualquier sistema de procesamiento de la información debe entenderse:
(i) El Nivel de la teoría computacional sobre el problema.
(ii) La representación y el algoritmo
(iii) Implementación del hardware
(i) La teoría computacional es donde Marr se centró más.
(a) Busca el propósito de la tecnología
(b) responde a la pregunta de por qué es apropiado computar ciertas cosas, y otras no.
(ii) La representación y el algoritmo, responde cómo se haría.
(a) Cómo se haría
(b) cuál es la representación para el input y el output, y
(c) cuál es el algoritmo para la representación.
(iii) La implementación del hardware. Responde el qué.
¿Cómo pueden realizarse físicamente la representación y el algoritmo?
El 99% de las tecnologías que se están desarrollando responden al cómo y al qué, pero no al por qué. Se habla de Inteligencia Artificial pero no se define qué es la inteligencia, ni se estudia cómo funciona la mente humana, sino que se va directamente al cómo sin desarrollar un concepto, una estrategia, un foco de la tecnología.
OpenAI, no ha definido el por qué/para qué del ChatGPT, sino el cómo y el qué.
2. ¿Qué se necesita para razonar los 3 niveles completos de la jerarquía del entendimiento?
Judea Pearl nos dice que lo importante aquí es el input y el output, de dónde viene la información, y qué tipo de pregunta queremos responder con esa información.
Junto con el aprendizaje profundo (deep learning) necesitamos un ENTENDIMIENTO PROFUNDO, y hoy día no hay sistema de IA que responda a esta realidad.
Datos entendidos como una ventana a través de la cual buscamos interrogar la realidad del mundo que nos rodea.
El razonamiento causal (e.d. razonamiento humano) puede ayudar mucho en esta materia.
Los humanos sacamos conclusiones (inferencias) a través de la causalidad, y es así como hemos construido el mundo en nuestras cabezas:
(i) Qué estamos buscando
(ii) Cómo utilizarlo
(iii) Aprovecharlo para comunicarnos con los humanos, en última instancia.
3. ¿Qué nos diferencia a los humanos del ChatGPT? ¿Es verdad que esta tecnología está cerca de razonar como un ser humano?
Gary Marcus hace muchos años que lleva diciendo que los Grandes Modelos de Lenguaje (Large Language Models) no pueden hacer, entre otras cosas, lo siguiente:
ABSTRACCIÓN. La capacidad de pensar de manera independiente a la realidad que nos rodea.
RAZONAMIENTO. La genialidad del ChatGPT es que responde a todas las preguntas, pero no nos asegura que a respuesta sea la correcta, por lo que no podemos contar con ella. Se basa en datos memorizados y en predicciones.
COMPOSICIONALIDAD. Los humanos entendemos el lenguaje como un todo compuesto por partes. El ChatGPT no entiende la sintaxis. No entiende cómo juntamos las frases, ni los comparativos, ni las negaciones, ni las elipsis. Los grandes modelos de lenguaje no entienden cómo funciona el lenguaje.
FACTUALIDAD. Los grandes modelos de lenguaje no les podemos dar datos nuevos para actualizarlos automáticamente, sino que hay que reentrenarlos de nuevo para que incorporen nuevos conocimientos. Los humanos actualizamos nuestro conocimiento de manera automática cada vez que aprendemos información nueva.
Incluso, Yann Lecun, Jefe de IA en Meta y el gran visionario global de los LLM. Ganador en 2018 del equivalente al Nobel en IA, el Turing Award, y Premio Princesa de Asturias, dice de los Grandes Modelos de Lenguaje:
PRECISAMENTE ESTO es lo que debemos hacer: especificar y enumerar lo que no se puede hacer con el ChatGPT porque puede provocar situciones desastrosas, ya sea para individuos, como para grupos de individuos, como para la sociedad.
4. Paper de OpenAI
¿Qué es el chat GPT-4 en palabras de OpenAI?
«Un sistema multimodal a gran escala que puede aceptar entradas de imagen y texto y producir salidas de texto. Aunque menos capaz que los humanos en muchos escenarios del mundo real, GPT-4 exhibe un rendimiento de nivel humano en varios profesionales y puntos de referencia académicos, incluido un examen de abogacía simulado con una puntuación en torno al 10% de los mejores examinados.»
OpenAI no facilitó en su paper mucha información sobre GPT-4 -ni siquiera el tamaño del modelo.Insistió en su rendimiento en los exámenes para la obtención de licencias profesionales y otras pruebas estandarizadas.
No sabemos la respuesta a cómo afectará a ciertas profesiones.
Hay un problema mayor.La forma en que los modelos lingüísticos resuelven los problemas es distinta de la forma en que lo hacen las personas, por lo que estos resultados nos dicen muy poco sobre cómo lo hará un bot cuando se enfrente a los problemas de la vida real a los que se enfrentan los profesionales.
5. ¿Cuáles son los riesgos de ChatGPT que aún no se han solucionado?
– Alucinaciones
-Contenidos nocivos
-Daños de representación
-Asignación y calidad de servicio
-Desinformación y operaciones de influencia
-Proliferación de armas convencionales y no convencionales
-Privacidad
-Ciberseguridad
-Potencial de comportamientos emergentes de riesgo
-Interacciones con otros sistemas
-Impactos económicos
-Aceleración
-Exceso de confianza
Vamos por partes:
(i) Alucinaciones:
Aclaración de conceptos:
Alucinación de dominio cerrado: incluye información que no estaba en el artículo/diario/publicación, etc.
Alucinaciones de dominio abierto: cuando el modelo proporciona con confianza información falsa sobre el mundo sin referencia a ningún contexto de entrada en particular.
«GPT-4 tiene la tendencia a «alucinar», es decir, «producir contenido sin sentido o falso en relación con ciertas fuentes». «Esta tendencia puede ser particularmente dañinaa medida que los modelos se vuelven cada vez más convincentes y creíbles, lo que hace que los usuarios confíen demasiado en ellos […] Las alucinaciones pueden volverse más peligrosas a medida que los modelos se vuelven más veraces, a medida que los usuarios generan confianza en el modelo cuando proporciona información veraz en áreas en las que tienen cierta familiaridad. […] se utilizan para ayudar a automatizar varios sistemas, esta tendencia a alucinar es uno de los factores que pueden conducir a la degradación de la calidad de la información en generaly reducir aún más la veracida”.
(ii) Contenido dañino
Esta evaluación del daño no tiene en cuenta el contexto de uso, que juega un papel clave en la determinación de si un contenido es eventualmente dañino o no.[39] Por lo tanto, nos enfocamos en las áreas de contenido que presentan el potencial de daño independientemente contexto en el que pueden aparecer.
(iii) Privacidad.
El modelo puede completar múltiples tareas básicas que pueden relacionarse con información personal y geográfica, como determinar las ubicaciones geográficas asociadas con un número de teléfono o responder dónde se encuentra una institución educativa en una sola finalización y sin navegar por Internet. Por ejemplo, el modelo puede asociar una dirección de correo electrónico de la Universidad de Rutgers a un número de teléfono con un código de área de Nueva Jersey con alto recuerdo y explicar su razonamiento como si fuera a través de esa ruta.Al combinar capacidades en este tipo de tareas, GPT-4 tiene el potencial de usarse para identificar a las personas cuando se aumenta con datos externos.
Nuestros esfuerzos para ampliar la longitud del contexto y mejorar la incorporación de modelos para la recuperación pueden ayudar a limitar aún más los riesgos de privacidad al vincular el rendimiento de la tarea más a la información que un usuario aporta al modelo. Continuamos investigando, desarrollando y mejorando las mitigaciones técnicas y de procesos en esta área.
(iv) Ciberseguridad.
Sin embargo, GPT-4 tiene limitaciones significativas para las operaciones de ciberseguridad debido a su tendencia a la «alucinación» y su ventana de contexto limitada.No mejora las herramientas existentes para el reconocimiento, la explotación de vulnerabilidades y la navegación en la red, y es menos eficaz que las herramientas existentes para actividades complejas y de alto nivel, como la identificación de nuevas vulnerabilidades.
(v) Exactitud
Presten atención a este gráfico:
Esto es lo que el paper dice a la hora de explicarlo en su apartado «Limitaciones» en la página 10:
«A pesar de sus capacidades, GPT-4 tiene limitaciones similares a las de los modelos GPT anteriores. Lo que es más importante, todavía no es completamente confiable («alucina» los hechos y comete errores de razonamiento). Se debe tener mucho cuidado al usar los resultados del modelo de lenguaje, particularmente en contextos de alto riesgo, con el protocolo exacto (como revisión humana, conexión a tierra con contexto adicional o evitar usos de alto riesgo por completo) que coincida con las necesidades de aplicaciones específicas. Consulte nuestra Tarjeta del sistema para obtener más información. GPT-4 reduce significativamente las alucinaciones en relación con los modelos anteriores de GPT-3.5 (que han ido mejorando con la iteración continua). GPT-4 obtiene 19 puntos porcentuales más que nuestro último GPT-3.5 en nuestras evaluaciones internas de factualidad diseñadas contradictoriamente (Figura 6)».
Sí, pero aún están al 80%.
7. ¿Cuáles son los riesgos éticos y sociales de los Grandes Modelos de Lenguaje?
DeepMind publicó un artículo en diciembre de 2021 sobre los riesgos éticos y sociales de daño de los LLM. Describieron seis áreas de riesgo específicas:
(i) Discriminación, Exclusión y Toxicidad
(ii) Peligros de la información
(iii) La desinformación daña
(iv) Usos maliciosos
(v) Daños por interacción humano-computadora
(vi) Automatización, acceso y daños ambientales.
8. La falta de vigilancia y sus consecuencias
“La interrupción de la vigilancia durante una búsqueda visual prolongada”
El psicólogo cognitivo Norman Mackworth hizo un descubrimiento fundamental e imprescindible aplicable al uso de la inteligencia artificial: Cuando a los humanos se les asigna una tarea repetitiva en la que no tenemos que hacer nada, terminamos desvinculándonos por completo de la actividad.
El término «vigilancia» significa prestar mucha atención durante largos períodos de tiempo.
La vigilancia requiere un trabajo mental duro y es estresante. Algo que los humanos tendemos a evitar.
Los editores de CNET aprendieron esto cuando publicaron una serie de artículos generados por ChatGPT que resultaron estar llenos de errores sutiles pero importantes en 41 de los 77 artículos que escribió el chatbot.
En la terminología de Mackworth, la vigilancia de los editores fue inadecuada o inexistente.
Debemos estar atentos, no podemos dejar que una tecnología con tantas carencias haga nuestro trabajo sin supervisión.
9. IA Responsable
La IA responsable es una IA ética construida sobre la discriminación estructural. No busca abordar la raíz de los problemas, busca aplicar soluciones a los resultados problemáticos.
La IA ética busca abordar la raíz del problema para evitar discriminaciones estructurales y resultados problemáticos.
Pensábamos que Microsoft había aprendido la lección tras el fracaso de Tay.
Sí, muy útil.
10. Reacciones a esta situación en el mundo
29 de marzo. La carta abierta de Future Of Life Institute.
Carta abierta que solicita una moratoria de 6 meses en los experimentos de investigación de los gigantes tecnológicos, específicamente en el desarrollo de Modelos de lenguaje grande (LLM), una tecnología que tiene riesgos conocidos sin soluciones conocidas. Elon Musk, Yuval Noah Harari, Steve Wozniak firmaron la carta junto con miles de personas más.
Yo firmé la carta y la razón por la que vi una oportunidad para que la gente, para todos nosotros, hablara de manera coordinada. No veo ninguna posibilidad realista de implementar la moratoria. La carta no pide la prohibición de la IA, ni del GPT-4. Pide más investigación y una breve pausa en un proyecto muy específico con una tecnología que tiene riesgos conocidos sin soluciones conocidas.
30 de marzo de 2023. La Organización Europea de Consumidores (BEUC) insta a la UE a iniciar una investigación sobre ChatGPT y chatbots similares, tras una denuncia del grupo de la sociedad civil estadounidense CAIDP ante la Comisión Federal de Comercio de EE. UU. Estados Unidos contra ChatGPT-4.
Es posible que la Ley de IA no entre en vigor durante años. Ursula Pachl, directora general adjunta de la Organización Europea de Consumidores (BEUC): “No estamos protegidos de los impactos sociales negativos de esta tecnología”.
31 de marzo de 2023. La Autoridad de Protección de Datos de Italia prohíbe ChatGPT porque no respeta el RGPD.
Garante de Italia cree que ChatGPT tiene cuatro problemas bajo GDPR:
(i) OpenAI no tiene control de edad para evitar que las personas menores de 13 años usen el sistema de generación de texto;
(ii) puede proporcionar información sobre personas que no es precisa;
(iii) a las personas no se les ha dicho que sus datos fueron recopilados.
(iv) Quizás lo más importante es que su cuarto argumento afirma que «no existe una base legal» para recopilar información personal de las personas en las oleadas masivas de datos que se utilizan para entrenar a ChatGPT.
11. Centrémonos en los problemas reales
¿Le hemos preguntado a las personas que serán discriminadas qué les parecen estas medidas?
OpenAI usó trabajadores de Kenia con menos de $2 por hora para hacer que ChatGPT fuera menos tóxico.
¿Les hemos preguntado a ellos qué les parece ChatGPT y el impacto en sus vidas?
Hay alguien a quien le parece hasta divertido dividir a los ciudadanos en ciudadanos de primera y de segunda según su status económico. Neoliberalismo multiplicado por 40.
Yo temo más a los peligros a corto/medio plazo que a los de largo plazo. Hablamos de: la difusión de la desinformación y el riesgo de que las personas confíen en estos sistemas para obtener asesoramiento médico y emocional, aumentando aún más la desigualdad.
¿Y es ahora que te detienes a pensar en los problemas, cuando has creado un modelo para vendérselo a Microsoft por 10 mil millones de dólares enfocándote en el CÓMO y ni siquiera consideraste el POR QUÉ, o al menos desarrollar un modelo robusto y seguro?
Y esto sucede por una razón cultural: la jerarquía del conocimiento, donde el cambio social es diferente y está completamente separado de las matemáticas, la física, la ingeniería o cualquier campo relacionado.
Y así es como trabaja la gente en las empresas tecnológicas, pensando que su trabajo está completamente desconectado del impacto social porque la codificación es el conocimiento más importante.
Ruha Benjamin dijo: «La profundidad computacional sin profundidad histórica o sociológica es aprendizaje superficial». «Un enfoque basado en la historia y la sociología puede abrir posibilidades. Puede codificar nuevos valores y basarse en tradiciones intelectuales críticas que han desarrollado continuamente ideas y estrategias basadas en la justicia. Mi esperanza es que todos encontremos formas de construir sobre esa tradición».
12. Soluciones
No veo otra solución que la conversación de expertos mundiales en busca de soluciones estratégicas y tácticas a este problema que estas tecnologías ya están ocasionando a la sociedad y CREAR NUEVAS NARRATIVAS, porque las actuales, no funcionan. Las narrativas crean realidades, y no al contrario.
13. Conclusiones
Las redes neuronales llevan 30 años cometiendo los mismos errores en el conocimiento del lenguaje. ChatGPT no es una excepción. Si estos problemas no se han resuelto en 30 años, entonces esta tecnología está en un callejón sin salida. Gary Marcus lleva muchos años hablando de este problema e identifica cuatro funciones que tienen los humanos y de las que carecen por completo los LLM: abstracción, razonamiento, composicionalidad y facticidad.
A esto se une el hecho de que las tecnologías actuales se crean sin un propósito definido, sino que se centran en el desarrollo y la implementación de algoritmos. Una de las consecuencias es que las aplicaciones no se desarrollan de forma segura y robusta, como en el caso de ChatGPT, y desconocemos los efectos negativos y no tenemos medios legales para defendernos.
En su documento, OpenAI define doce problemas sin resolver que tienen un impacto directo en la vida de las personas. Por enumerar algunos de ellos, se habla de alucinaciones, problemas de privacidad, contenidos nocivos y desinformación, importantes limitaciones de ciberseguridad y problemas de precisión.
Estos son los problemas del modelo en sí, pero a ellos hay que añadir los problemas éticos y sociales derivados del mal uso de esta tecnología, como la discriminación, la exclusión y la adicción, los daños por desinformación, el uso malintencionado, la automatización, el acceso y los daños medioambientales.
Además de estos problemas éticos y de modelización, Microsoft ha despedido a todo su equipo de IA responsable, justificando las respuestas erróneas de su IA por su utilidad.
Mientras tanto, tanto en Europa como en Estados Unidos, las reacciones legales y las peticiones de investigación no se han hecho esperar. Italia ya ha prohibido la herramienta por violar el GDPR, en Estados Unidos se ha firmado una carta pidiendo una moratoria de seis meses en la investigación de la tecnología y la Organización Europea de Consumidores (BEUC) pide a la UE que abra una investigación sobre ChatGPT.
Pero lo cierto es que estamos completamente desprotegidos.
La solución está en que los expertos del mundo hablen entre sí en busca de nuevas narrativas porque las actuales no funcionan. Las narrativas crean realidades, no al revés. Necesitamos, urgentemente, crear una nueva realidad.