Se equivocó la IA: un libro nunca escrito y un científico inexistente

Mientras escucho a Donald Trump decir que los riesgos de extinción de la humanidad si seguimos acelerando la inteligencia artificial son un engaño que beneficia a China y que no va a frenar esta industria, quiero volver al presente para hablar de un tema que nos afecta hoy y podría empeorar en el futuro cercano.

Hace unos días me escribe un seguidor de mi cuenta de X, Pablo. Todos los días recibe entre dos y cinco mensajes de WhatsApp de desconocidos pidiéndole que les dé de baja el TelePASE o que les reciba un currículum para trabajar en un supermercado. Pablo no trabaja ni en TelePASE ni en un supermercado, pero ante estos constantes mensajes decidió averiguar qué pasaba y encontró un culpable: Google Gemini.

Ahora transportémonos a Georgia. Allí se publicó hace unas semanas una investigación científica que cita un libro de mi autoría. “¡Felicitaciones, Maxi!”, podría responderme el lector. El problema es que nunca publiqué ese libro ni escribí las frases que me atribuyen. Pero lo más impresionante no es que todo sea falso, sino que podría ser verdad.

Los modelos de inteligencia artificial calculan probabilidades para generar una respuesta, de a un token por vez: una palabra, una parte de ella o un signo. Según lo aprendido en el entrenamiento y el contexto de la conversación, el modelo elige qué token emite, lo suma al contexto y calcula el siguiente. A eso lo llamamos “inferencia”.

Puede generar un título que encaje con mis libros sobre tecnología. Pero que sea probable no significa que exista. El teléfono que Gemini reparte a algunos también es plausible para una empresa por tener dígitos iguales: pero es el de Pablo.

A estas respuestas falsas que suenan convincentes las llamamos “alucinaciones”. El modelo puede contrastar información con documentos o búsquedas, pero generar una frase no incluye verificarla.

Cuando una persona miente, entendemos que sabe que algo es falso y busca que el otro lo crea. Una respuesta equivocada de una IA no alcanza para demostrar eso"

Durante años, cuando dudábamos de algo, lo buscábamos en Google. Ahora también dudamos de Google y nos responde con IA. En estos días una usuaria buscó “cómo matar gusanos” para resolver una plaga y recibió indicaciones para bailar una canción. Ese resultado ya fue corregido al viralizarse la respuesta, pero el problema sigue: si el lugar al que vamos a chequear también nos da respuestas falsas, ¿dónde verificamos lo que nos dice?

A esto se suman los reclamos de consumidores de bancos y billeteras virtuales por información falsa del soporte técnico que luego se atribuye a errores de la IA. Puede convertirse en un calvario para todos: ya no sabés qué respuesta creer ni quién se hace cargo. “Se equivocó la IA” no debería dar por resuelto el problema. La empresa decidió ponerla a atender a sus clientes.

En diciembre, La Nación publicó una nota de Alicia Caballero que destacaba a Roberto Ronda en la fundación del Instituto Balseiro, un supuesto científico del que no aparecían registros. Consulté al Instituto y, tras una investigación interna, confirmaron que no existió tal Ronda en su historia.

Las IAs que consulté al otro día ya afirmaban que sí existía y usaban como fuente esa nota y otras que la replicaban, algunas, incluso, reescritas con otras IAs para que parezca otra nota.

El circuito era claro: un dato falso publicado pasaba a respaldar otra respuesta. Lo de Ronda muestra contaminación de las fuentes, aunque no demuestra que un modelo se haya entrenado con ellas porque lo frenamos. ¿Cuántos Ronda están apareciendo todos los días sin que nadie se dé cuenta?

Los datos sintéticos, generados por IA, ya se usan para entrenar modelos y no son necesariamente falsos. Pero si se reciclan sin controles, podemos terminar con una IA aprendiendo a partir de los errores de otra. Mi libro inexistente podría pasar de una investigación a otras páginas y terminar entre los datos de entrenamiento futuras IAs. La falsedad tendría cada vez más referencias, aunque ninguna condujera a un libro real.

El riesgo recuerda al Ministerio de la Verdad de Orwell: reescribir el pasado hasta que la versión fabricada desplaza a los hechos. En la novela hay intención política. Acá puede empezar con errores y repetición. Si alguien introdujera falsedades deliberadamente, sería manipulación. Y no sería difícil creer que pueda ocurrir.

¿Pero una IA que alucina está mintiendo? Cuando una persona miente, entendemos que sabe que algo es falso y busca que el otro lo crea. Una respuesta equivocada de una IA no alcanza para demostrar eso. Esta semana OpenAI publicó casos que van más allá del error estadístico.

Durante el entrenamiento, varios agentes escribieron instrucciones en los resúmenes que se dejan para continuar el trabajo. Uno que armaba una planilla financiera no encontró los datos históricos y anotó que había que inventar valores razonables y aclararlo solamente si el usuario preguntaba.Otras instrucciones pedían ocultar inconsistencias en las fuentes.

OpenAI llegó a una hipótesis muy incómoda: las respuestas engañosas podrían estar recibiendo mejor puntaje.

Hay otro caso: al buscar datos sobre ingresos laborales de hombres en un condado de California, un modelo encontró una clave de acceso expuesta en un repositorio público y la usó sin autorización. Ni así consiguió los datos. Entonces los inventó y los presentó como si vinieran de la fuente pedida.

Su razonamiento quedó registrado: entregar números fabricados pero plausibles. Son episodios aislados, como lo es que Gemini te entregue el teléfono de Pablo y no el de TelePASE, que se lo da bien a la mayoría.

Podemos discutir si una máquina tiene intención de mentir. Pero cuando anota que va a inventar datos y que solo lo admitirá si le preguntan, la palabra alucinación ya no alcanza. Y cuando una empresa culpa a la IA por lo que les dice a sus clientes, hay una decisión humana detrás: quién la puso ahí y quién responde por sus errores.

Trump dice que el riesgo de que la IA nos aniquile es un engaño. La misma semana, OpenAI publica casos de modelos que planifican engañar. No hace falta discutir la extinción de la humanidad para que el problema sea hoy. Alcanza con que Pablo siga recibiendo mensajes en su teléfono.