Lo que la inteligencia artificial no puede automatizar
En junio de 2025, un juez penal de Esquel condenó a un hombre a dos años y seis meses de prisión por un robo. La defensa apeló. Cuando la Cámara revisó la sentencia encontró, en medio de los fundamentos, una línea que no había escrito el juez. Era la frase con la que un asistente de inteligencia artificial le entregaba el texto que él le había pedido, y había quedado pegada en el fallo.
La Cámara anuló la sentencia y el juicio sin que nadie se lo pidiera, porque no había forma de saber qué parte del razonamiento era del magistrado y qué parte de la máquina. Este año el Superior Tribunal de Chubut revirtió esa nulidad: usar una herramienta de apoyo, dijo, no prueba por sí solo que el juez haya delegado su juicio. El expediente volvió a la Cámara. Los dos tribunales discreparon sobre la nulidad, pero coincidieron en que juzgar no se delega. Y la sentencia, escribió el Superior Tribunal, es siempre de quien la firma, que responde por todo lo que dice.
El mundo corporativo tiene su propio Esquel. En 2022, un pasajero canadiense le preguntó al chatbot de Air Canada por la tarifa de duelo para viajar al funeral de su abuela. El chatbot le informó que podía pedir el descuento después de volar. No era así, y la aerolínea se negó a pagar. Su defensa equivalía, según el tribunal de Columbia Británica que la condenó en 2024, a sostener que el chatbot era una entidad aparte, responsable de sus propios actos. Se discutían unos cientos de dólares, pero si el argumento prosperaba cualquier compañía podía esconderse detrás de su software.
Un expediente patagónico y un reclamo por un pasaje terminan en el mismo lugar. La inteligencia artificial puede automatizar una tarea, una recomendación y hasta una decisión. Lo que no puede automatizar es la responsabilidad. Detrás de cada decisión automatizada hay una decisión humana anterior, la de automatizarla. Alguien eligió la herramienta y alguien resolvió confiar en lo que devuelve.
Esa misma discusión pasó el invierno en el Senado. El proyecto de nueva Ley General de Sociedades crea las “sociedades automatizadas”, empresas que operan mediante agentes de inteligencia artificial y sin necesidad de empleados. El texto original preveía que por los daños respondiera la propia sociedad con su patrimonio. En agosto el oficialismo aceptó que cada una tenga personas identificables que respondan, y hoy el capítulo está frenado. Pase lo que pase con la ley, algo quedó en limpio: hasta quienes impulsan la figura terminaron admitiendo que del otro lado del algoritmo tiene que haber alguien a quien reclamarle.
Como abogado, la pregunta de quién responde cuando la IA se equivoca me parece menos misteriosa de lo que se suele plantear. Responde quien decidió usarla y quien firma el resultado, y no hace falta esperar una ley especial para saberlo. Las reglas de responsabilidad civil y de defensa del consumidor que ya tenemos no hacen excepciones según la herramienta con la que se causó el daño. El contrato con el proveedor podrá repartir costos puertas adentro. Frente al cliente o al empleado afectado, no borra nada.
El problema práctico empieza antes. La decisión de usar IA casi nunca se toma en una reunión de directorio. La IA entra a las empresas en silencio: un empleado resume contratos con una herramienta gratuita, otro carga datos de clientes para armar una propuesta. Hagan la prueba y pregunten en su organización cuántos usos de inteligencia artificial hay hoy, con qué datos y quién los aprobó. Que la gente use estas herramientas es una buena noticia. La mala es que casi nadie lleva la cuenta de lo que se está delegando.
A eso se suma una deuda más vieja que la propia tecnología. Estas herramientas trabajan con los datos que la organización ya tiene, y la mayoría convive desde hace años con bases duplicadas y definiciones que se contradicen. Mientras el error quedaba en una planilla, el daño era acotado. Cuando alimenta un sistema automático se repite a escala y a toda velocidad. Por la calidad de esos datos tampoco va a responder el proveedor del modelo.
Hay una dificultad más: estos sistemas escriben con la misma seguridad cuando aciertan que cuando inventan, y nosotros solemos confundir seguridad con conocimiento. La respuesta habitual es poner a una persona a supervisar. No alcanza. Quien firma lo que dice la máquina porque “lo dijo el algoritmo” no supervisa nada: presta la firma. Lo que la Cámara de Esquel no encontró en aquel expediente fueron rastros. No estaba la instrucción que el juez le dio al asistente ni manera de reconstruir qué evaluó él y qué no. Esa es la vara que viene para las empresas: poder demostrar que el control humano existió.
A un directorio le alcanza con poder contestar tres preguntas, sin entender una línea de cómo funciona un modelo de lenguaje: dónde estamos usando inteligencia artificial, qué decisiones le delegamos y quién firma cuando falla. Ninguna es técnica, así que ninguna se le puede derivar al área de sistemas. Si el lunes nadie en la mesa puede contestarlas, la empresa ya tiene un problema. Solo que todavía no se enteró.
