La nueva vulnerabilidad de la inteligencia artificial que amenaza a las empresas

En agosto de 1949, en Mann Gulch, Montana, quince bomberos paracaidistas saltaron sobre un incendio forestal que parecía rutinario y se unieron a un guarda forestal que ya estaba en el terreno. Dieciséis hombres en total, un equipo ad hoc ensamblado para esa misión, sin historia compartida ni códigos comunes. En menos de una hora, el fuego cambió de dirección, el viento se volvió impredecible y empezó a avanzar más rápido de lo que ninguno había visto.

En medio del ruido del incendio, con pocos minutos para decidir, el líder, Wag Dodge, hizo algo completamente contraintuitivo: encendió un fuego frente a él, en el pasto seco, y les indicó a los demás que tiraran sus herramientas al piso y se acostaran dentro de esa zona ya quemada. La técnica, que después se llamaría “fuego de escape”, no existía formalmente en ese momento. Nadie la había visto, nadie la había estudiado, nadie tenía razones para confiar en ella en medio del pánico. Nadie lo siguió. Dodge sobrevivió. Otros dos zafaron por casualidad, encontrando una grieta en la pared de roca. Trece murieron.

Años más tarde, el referente en teoría de las organizaciones Karl Weick analizó este episodio y llegó a una conclusión incómoda. En Mann Gulch no fallaron la técnica ni la información: falló el sentido. Un equipo que no se conocía, en un terreno que no terminaban de leer, frente a una propuesta que no podían interpretar a tiempo.

En situaciones de alta incertidumbre, sostiene Weick, las organizaciones no fallan por falta de datos, sino por la incapacidad de reinterpretar la realidad cuando todas las referencias conocidas dejan de funcionar. A esa capacidad de construir sentido en condiciones nuevas la llamó sensemaking.

Cuando el sentido colapsa, no alcanza con tener más información. Hacen falta liderazgo, criterio y la capacidad de soltar lo que hasta hace un minuto parecía incuestionable. Esa idea empieza a resonar de forma inquietante en el presente: la mayoría de las veces, lo que llamamos fallas del sistema son, en el fondo, fallas humanas. No por error individual, sino por diseño, por cultura y por cómo pensamos (o dejamos de pensar) frente a lo inesperado.

Hace pocas semanas tuvimos un ejemplo casi de manual. El 28 de febrero, la startup de ciberseguridad CodeWall puso a su agente autónomo de IA a explorar la infraestructura de McKinsey & Company. En dos horas, con un costo aproximado de veinte dólares de cómputo y sin intervención humana, el agente obtuvo acceso de lectura y escritura a la base de datos productiva de Lilli, la plataforma interna de IA de la consultora. Quince iteraciones le bastaron para encontrar una vulnerabilidad que dos años de escaneos convencionales no habían detectado.

Lo notable no es solo la velocidad. Es a qué accedió. Además de cuarenta y seis millones de mensajes internos y cientos de miles de archivos, el agente alcanzó los archivos que definen cómo razona el sistema: noventa y cinco instrucciones internas, distribuidas en doce modelos, que podían reescribirse sin generar despliegues, sin dejar registro y sin disparar ninguna alerta.

McKinsey parcheó en horas y sostuvo, con razón, que ningún dato de clientes salió del edificio. Pero pensar que esto fue un problema puntual de la consultora, o que en otra organización no hubiera pasado, sería repetir el error de fondo. No es la historia de una empresa que se descuidó. Es la radiografía de cómo se están construyendo, en este momento, casi todos los sistemas de inteligencia artificial empresariales del mundo. Lo que cambia con este caso no es que haya ocurrido. Es que elimina el último refugio cómodo: el de creer que esto les pasa a los que no están prestando atención.

Durante años, el foco estuvo puesto en proteger datos y documentos. Pero el valor se está desplazando hacia algo mucho más difícil de ver: las instrucciones que estructuran cómo una inteligencia artificial decide qué responder. Cuando esa lógica vive detrás del mismo perímetro que los datos, una sola falla no expone información: altera la forma en que el sistema interpreta todo lo que procesa. Un atacante ya no necesita llevarse nada. Le alcanza con modificar, en silencio, cómo el sistema entiende lo que ve.

Y acá vuelve el problema humano. No el error del técnico que ejecutó mal, sino el del líder que asumió que ciertos escenarios eran improbables, que lo crítico estaba separado, que el marco que usaba para pensar la seguridad seguía siendo el correcto.

Es Mann Gulch a escala digital. Equipos que no se conocen del todo, decidiendo en tiempo real sobre arquitecturas que evolucionan más rápido que la experiencia acumulada para evaluarlas. El marco con el que aprendimos a pensar la seguridad (datos, perímetro y accesos) se construyó para un mundo en el que la lógica del sistema no se podía editar. Ese mundo ya no existe, y todavía no terminamos de procesarlo.

La pregunta práctica, entonces, es qué hace un líder con esto. No el equipo de tecnología, no el equipo de seguridad: el líder. Y la respuesta no es contratar más expertos en ciberseguridad. Es empezar por tres preguntas que hoy muy pocos pueden responder con precisión, y no estoy hablando solo de las grandes corporaciones globales: ¿dónde vive la lógica de mis sistemas de IA y quién puede modificarla? ¿Qué pasa si esa lógica se altera sin que nadie lo note? ¿Cuándo fue la última vez que alguien en el directorio revisó eso? No son preguntas técnicas. Son preguntas de gobierno. Y si no tienen respuesta clara, el perímetro no importa demasiado.

A esto se suma la velocidad. Quince iteraciones de un agente autónomo encontraron lo que dos años de escaneo humano no habían visto. No porque piense mejor, sino porque puede intentar miles de combinaciones sin fricción ni cansancio. Esa asimetría ya no es teórica. Es operativa.

Por eso la discusión ya no pasa por reforzar el perímetro, sino por diseñar sistemas con gobernanza desde el origen. El valor no está solo en los datos, sino en la lógica que los interpreta, y esa lógica debe tratarse como un activo crítico: separada, auditada y monitoreada con el mismo rigor que cualquier información sensible.

Los directorios de empresas que operan con contrapartes internacionales ya empiezan a recibir preguntas sobre gobernanza de IA que antes no llegaban. Lo que hace dos años parecía un debate técnico se está convirtiendo, muy rápido, en un criterio de evaluación de socios, proveedores y clientes. Y esa conversación no espera a que Argentina tenga un marco regulatorio propio.

La verdadera pregunta no es si estos sistemas van a fallar. Eso, en algún momento, va a ocurrir. Es si, cuando ocurra, vamos a ser capaces de darnos cuenta a tiempo. Porque cuando lo que se altera no son los datos sino el sentido, el riesgo deja de ser técnico. Y pasa a ser, como en Mann Gulch, profundamente humano.