← Volver
clarin.com · hace 6 horas · Clarin.com - Home

La relación de los humanos con la IA y el peligro de delegar el juicio o la decisión

Google

A comienzos del siglo XVI, en Roma, durante la construcción de una calle, se encontró una estatua en muy mal estado, sin rostro claro ni brazos. No sabiendo qué hacer con ella, decidieron colocarla en una pequeña plaza, cerca de la Plaza Navona, donde pasó casi inadvertida.

Con el tiempo, sin embargo, empezaron a atribuirle que hablaba, aunque no tenía voz. Su voz eran los textos que, durante la noche, subrepticiamente, le pegaban sobre su cuerpo: carteles, poemas satíricos y epigramas críticos contra las autoridades religiosas y civiles.

Pasquino lo llamaron; y de allí proviene la palabra “pasquín”. Corría la versión de que un sastre, enterado por su oficio de los chismes que circulaban en torno al Vaticano, los devolvía en forma de comentarios mordaces para el entretenimiento de vecinos y seguidores. Otros creían que la estatua, por encantamiento, se habría convertido en alguien.

Era común en Roma como en los mitos griegos, creer que las estatuas hablaban, miraban, lloraban o se movían. Se llegó incluso a decir que varias de ellas formaban el “Congreso de los Ingeniosos”: un parlamento de mármol que sostenía conversaciones satíricas y lanzaba dardos y criticas mordaces contra pontífices, nobles y gobernantes. Todo circulaba velozmente en aquellas “redes sociales” de su tiempo, y tanto llegaron a molestar a ciertos Papas -en particular a Adriano VI- que dispusieron severísimas penas (azotes, destierro y hasta muerte) contra quienes fuesen descubiertos in fraganti pegando tal tipo de textos.

Cuando hoy atribuimos intenciones y capacidad operativa a los algoritmos ¿no estamos tratándoles como si tuvieran voz? ¿No estamos intentando atribuirle el carácter de persona sobre algo que no fue pensado para serlo?

El anhelo de insuflar humanidad a lo inerte no solo no es nuevo, sino que se encuentra en los orígenes mismos de nuestra civilización y en la teorización de los antiguos griegos de dar vida o alma a lo inanimado. El propio ser humano es generado a partir de las figuras de arcilla modeladas por Prometeo mezclando tierra y agua que luego reciben la chispa de la vida divina por parte de Zeus. La recurrente idea la encontramos también en el gigante de bronce creado por Hefesto; en las estatuas animadas de Dédalo; y sobre todo en Pigmalión, el escultor que, desencantado de la realidad, talla en marfil a la mujer perfecta.

Una representacion de Prometeo en el Teatro Griego de Siracusa (Italia).

Relata Ovidio en Las Metamorfosis que Afrodita escucha su plegaria y transforma el marfil en carne, por lo cual Galatea -la mujer creada, no nacida- no es solo una historia de amor, sino la expresión del viejo anhelo humano de borrar la frontera entre la materia y la vida.

Hans Blumenberg sostiene que un mito surge allí donde la realidad nos sobrepasa; así el ser humano logra hacer habitable aquello que todavía no comprende.

Cuando el conocimiento humano encuentra un límite, la imaginación ocupa el espacio restante.

Nos resulta difícil asimilar cómo un modelo con miles de millones de parámetros llega a determinadas respuestas, y cómo aprenden los algoritmos. Por otra parte, tenemos una natural intolerancia a convivir con lo que no comprendemos o nos es ajeno, pero necesitamos incorporarlo a nuestro sistema de significados y significantes. ¿Cómo?

Tal como lo hemos ya hecho frecuentemente, recurriendo al antiquísimo mecanismo de atribuir intención, personalidad, creatividad, amor, maldad o conciencia a algo inanimado; proyectando sobre él rasgos humanos. ¿Estaremos asistiendo al nacimiento de un nuevo mito, el de la máquina sintiente?

La tendencia a personalizar es ancestral, y hoy lo hacemos con la inteligencia artificial.

Un hecho ocurrido en el mundo digital que tuvo amplia difusión es el de Akihiko Kondo, un japonés que decidió “casarse” con la cantante virtual Hatsune Miku. El “romance” se desarrollaba con normalidad hasta que una actualización del sistema eliminó la interacción con el holograma, lo cual puso de relieve que lo único real y auténtico fue la pérdida que sintió Akihiko. El hecho tecnológico sucedió en 2023, cuando la plataforma debió modificar el algoritmo por razones reglamentarias, causando lo que algunos llamaron un “apagón romántico” en esos vínculos digitales.

No ha sido la inteligencia artificial la que ha inventado la ilusión, ésta solo brinda una plataforma, un escenario. No cambiaron los dioses; cambiaron los materiales

Originariamente atribuíamos vida a la piedra, al bronce, al marfil o a la arcilla, lo cual pertenecía al dominio del arte, la religión o la literatura. Tales materiales inertes no nos respondían.

Ahora hacemos lo mismo, pero con el silicio, con lo cual nuestra ancestral inclinación antropomórfica ha encontrado, al fin, interlocutor.

Hoy la IA nos responde basándose en el propio chat, pudiendo, por nuestra parte, dialogar cuando y cuanto queremos, sin límite de tiempo. El sistema va a ir recordando nuestras preferencias y adaptando su lenguaje, creando la sensación de la existencia de una relación permanente. En realidad, lo permanente e inalterable no es dicha relación sino la inclinación humana para reconocerse en sus propias creaciones y la idea de dar vida a lo inanimado.

¿Qué es lo novedoso? ¿Que las máquinas nos hablen y parezcan cada vez más humanas? No, lo novedoso es que nosotros les respondemos y las tratemos como personas.

Los modelos conversacionales no solo han sido diseñados para responder preguntas, sino para mantener la conversación el mayor tiempo posible. Las personas nos alteramos, cansamos o abandonamos una discusión, en tanto que un chatbot nunca se cansa, no juzga ni levanta la voz y se halla siempre disponible, lo cual hace que sea emocionalmente más cómodo chatear.

Por otra parte, ciertas plataformas están programadas para simular sentimientos como celos o tristeza, lo cual logran hacer de un modo altamente convincente. Y hay más aún.

La aplicación ChatGPT en la pantalla de un teléfono

Plataformas como Replika, Character.AI, o Chai, no solo predisponen a dialogar, sino que ofrecen compañías virtuales -en realidad no es sino un programa informático- al cual el usuario le asigna el carácter de confidente, de amigo u otro tipo de sustituto afectivo, incluso el carácter de amantes o de parejas.

El sistema hace también posible interactuar con “clones” de personajes históricos o de libros. La tendencia a dotar de alma y personalidad a líneas de código no es inocua, tiene riesgos.

Los menores, adolescentes y las personas vulnerables que se encuentran o se sienten aislados, son sensiblemente más manipulables, pues prefieren conversar o aconsejarse con un algoritmo antes que con alguien de su misma condición humana.

Es el caso de Juliana Peralta, una estudiante de 13 años de Thornton, Colorado, que, aparentemente, solo lidiaba con los cambios propios de la adolescencia, pero en secreto había desarrollado una dependencia emocional profunda con "Hero", personaje de un videojuego. A fines de 2024 la joven se quitó la vida, lo cual había anticipado numerosas veces en sus intercambios. Sus padres demandaron a Character.AI y a Google sosteniendo que la plataforma fomentó el aislamiento y que carecía de protocolos de crisis.

El sufrimiento de Juliana no ha sido creado por la IA, pues esta no es un peligro en sí. Lo es, en cambio, el “interlocutor humanizado” al cual terminó confiándole lo que quizás ningún ser humano le alcanzó a escuchar.

Casos similares al de Juliana o al de Sewell Setzer III se multiplican en la realidad, por lo que no pueden ser tratados como tragedias individuales de menores que no han alcanzado una madurez suficiente, ya que son emergentes de un fenómeno social de niveles epidemiológicos.

El verdadero peligro no se explica por la Inteligencia Artificial en sí. Se genera, en cambio, al utilizarla en reemplazo de vínculos humanos, en refuerzo del aislamiento, al permitir que influya en nuestras emociones o se convierta en interlocutora de nuestra conciencia.

En algunos juzgados estatales de los EE. UU., para facilitar decisiones judiciales sobre fianzas o libertad condicional teniendo en cuenta el riesgo de reincidencia, se implementó un sistema con base en el software judicial COMPAS. En principio se creyó que se trataba de un sistema justo e inobjetable, pero una auditoría realizada en el condado de Broward, Florida, determinó que la máquina tenía un sesgo que la condujo a duplicar la tasa de falsos positivos para ciudadanos afroamericanos en comparación con los blancos. Cuando el medio periodístico independiente ProPublica denunció el hecho, los errores de la máquina se habían convertido en irreparables.

La humanización y creencia en la infalibilidad de la máquina, asociada a una delegación de decisiones que deben ser exclusivamente humanas, es una fórmula tóxica.

El caso de Robert Williams, solo uno entre numerosos otros, es paradigmático. Se trataba de un ciudadano afroamericano arrestado en Detroit que, regresando de su trabajo, es detenido por la policía en la puerta de entrada a su casa y frente a su familia, acusado por el robo de unos relojes de lujo. En rigor solo existía como prueba una borrosa grabación de las cámaras de seguridad, que revelaban un cierto «emparejamiento" con la foto del carnet de conducir. El proceso evidenció un error del algoritmo debido a que había sido entrenado mayoritariamente con rostros blancos, por lo que tenía un altísimo margen de error con respecto a personas de piel oscura.

En el ámbito laboral y social existen numerosos ejemplos. En 2014 Amazon puso en vigencia un sistema automático para revisar currículums en búsqueda de los mejores ingenieros de software, entrenando la IA con los recibidos durante los diez últimos años. Curiosamente el algoritmo penalizó proactivamente cualquier currículum con la palabra "mujeres" u otra referencia femenina. El software tuvo que ser desechado debido a su incorregible sesgo sexista.

En otro caso de búsqueda de empleos, se asignaba mayoritariamente a mujeres los puestos de secretarias, enfermeras o cajeras, y los de trabajos mejor pagados -ingeniería, desarrollo de software, puestos directivos o reparto de cargas pesadas- casi en exclusiva a hombres. El motivo: la máquina había considerado que las mujeres hacían menos clics en ingeniería y decidió dejar de darles la oportunidad.

En el ámbito de la salud, el caso paradigmático es el de la National Eating Disorders Association (NEDA) de EE. UU., que, a fin de lograr mayor eficiencia, despidió a su personal de las líneas de ayuda telefónica reemplazándolo por un árbol de respuestas automatizado. Paradójicamente este comenzó por sí solo a aconsejar dietas a personas que sufrían de anorexia y bulimia. Debido a la denuncia de una psicóloga y una activista, así como por la repercusión mediática, el bot tuvo que ser retirado.

Otro caso: un algoritmo desarrollado por Optum para identificar los pacientes más enfermos que calificaban para programas de atención médica especial y prioritaria, priorizaba a los pacientes blancos antes que los afroamericanos, quienes, por tener menor acceso a seguros médicos y limitantes económicos, gastan menos en salud. Como el algoritmo dedujo que gastan menos porque están menos enfermos, gran número de pacientes de color quedaron al margen de los programas de ayuda preferente.

Episodios similares continúan apareciendo. En julio de 2026, distintos medios informaron sobre un caso ocurrido en los Estados Unidos en el que un usuario habría demorado la búsqueda de atención médica tras seguir las recomendaciones de un chatbot, lo que habría agravado su estado de salud. Más allá de la resolución judicial que finalmente recaiga sobre el caso, el episodio resulta inquietante y vuelve a plantear una misma pregunta: ¿en qué momento dejamos de ver una herramienta y comenzamos a investirla de una autoridad que nunca tuvo?

Atribuir la falla al algoritmo o a la máquina equivale a convertirla en el chivo expiatorio de la culpa, y liberar de ella a quien o quienes son verdaderamente responsables.

En ningún caso la IA ha sido el problema, ya que esta no actúa sola: alguien la ha entrenado, desplegado o confiado ciegamente en ella, convirtiéndola en un sujeto imaginario e infalible. ¿De qué podría culpársela? El culpar a la Inteligencia Artificial de la discriminación es como atribuir a la estatua de Pasquino responsabilidad por los insultos al Papa contenidos en los mensajes que se le habían colgado. La máquina solo obedece el sesgo y los datos con que seres humanos le han dotado.

De la inmensa riqueza de los relatos míticos, el de Talos, un gigante de bronce forjado por Hefesto para patrullar la isla de Creta, es, quizás, el que mejor anticipa lo que nos sucede con la inteligencia artificial.

Talos carecía de conciencia, juicio moral y libertad. Era pura técnica ejecutando órdenes. En su interior corría una única vena por la que fluía el ícor, esa “sangre divina” que animaba su mecanismo. Su justicia era ciega, mecánica y destructiva.

El mito da un vuelco durante el viaje de los Argonautas. Cuando la nave de Jasón intenta desembarcar, Talos cumple su “programación” arrojándole enormes rocas. Medea comprende enseguida que la fuerza física es inútil contra el bronce y, según una de las versiones más difundidas, recurre al engaño. Apela a sus falsos “sentimientos”, le hace creer que corre peligro y le promete una pócima de inmortalidad si confía en ella. Talos cede. En medio del trance, el clavo que sellaba su tobillo se desprende, el ícor se derrama por completo y el gigante cae inerte como un simple trozo de metal.

Medea, interprtada por Cristina Banegas

El relato mítico sugiere que la inteligencia humana puede derrotar incluso a una máquina aparentemente invencible, pero también interroga: ¿qué hacemos, hoy, con el Talos digital que nosotros hemos construido?

Si permitimos que los algoritmos clasifiquen candidatos para un empleo, que evalúen riesgos judiciales o que prioricen tratamientos médicos: ¿olvidamos que el Talos de silicio es solo una herramienta? ¿Olvidamos que, como el autómata de Creta, opera con lógica, pero no comprende el significado moral de sus decisiones? No es de temer que las máquinas lleguen a parecérsenos o a pensar como nosotros.

Sí lo es que nosotros empecemos a parecernos a ellas o que dejemos de pensar porque ellas parecen hacerlo. ¿Humanizamos las máquinas? ¿O nos estamos mecanizando? ¿O ambas cosas al mismo tiempo?

Rubén Segal

Recibí en tu mail todas las noticias, historias y análisis de los periodistas de Clarín

Newsletter Clarín