Inteligencia artificial: ni demonizar ni idealizar

No quedan dudas de que la inteligencia artificial vino a cambiar al mundo, quizás como ninguna tecnología antes. Los beneficios potenciales son incontables. Sin embargo, no es la primera vez que declaraciones de los más diversos referentes alertan sobre los peligros potenciales que encierra el desarrollo acelerado de los modelos de frontera.

En particular cuando esas alertas vienen de los propios desarrolladores se encienden todas las alarmas. Y surge la pregunta sobre qué ven ellos que no ve el usuario común. Las recientes declaraciones de Dario Amodei están en ese nivel. El CEO de Anthropic llamó a “pace the frontier”, o sea a desacelerar el avance tecnológico. Su apelación recibió distintos grados de apoyo de figuras de primera línea de las grandes empresas tecnológicas, como Sam Altman (OpenAI), Elon Musk (X) y Demis Hassabis (Google).

“Los empleados estamos aterrados”: un exinvestigador de Anthropic alertó sobre el avance de la IA

La reacción en cadena fue inmediata, y los medios del mundo se llenaron de opiniones, calificadas o no, sobre pérdida de control humano, peligros catastróficos y hasta probabilidades de extinción, con la consiguiente inquietud en el público.

Por otra parte, y en el extremo opuesto del espectro, el presidente Trump, a su estilo, rechazó de una manera furibunda la idea de desacelerar los desarrollos. Para la actual administración de Estados Unidos el problema central es no perder en la competencia estratégica con China debido a cualquier freno unilateral que pueda comprometer el liderazgo estadounidense. Beijing reaccionó calificando esa postura como una nueva “guerra fría”.

Dado el desarrollo de los acontecimientos, es oportuno preguntarse sobre cuánto pesa la evidencia técnica y cuánto los intereses económicos y geopolíticos.

Es cierto que los modelos más avanzados son cada vez más capaces de trabajar durante períodos prolongados, utilizar herramientas y ejecutar tareas que antes requerían intervención humana continua, pero el punto más sensible es otro: su creciente capacidad para contribuir a mejorar otros sistemas de IA, automatizar partes del proceso de investigación y desarrollo y, potencialmente, cerrar ese ciclo de mejora.

El salto verdaderamente disruptivo no radica sólo en el aumento de la capacidad de razonamiento, sino en que pueda intervenir de manera cada vez más autónoma en la creación de sistemas aún más capaces. Es allí donde aparece la sospecha de una aceleración mucho más difícil de gobernar.

Es justamente en ese tránsito donde se ubica buena parte de la discusión actual sobre la llamada inteligencia artificial general, o AGI: sistemas capaces de desempeñarse con gran generalidad y autonomía en el más amplio rango de tareas cognitivas.

Así y todo, existe un salto conceptual enorme entre observar estas capacidades emergentes y afirmar que podrían conducir a la extinción humana. Ese es un puente que rara vez se explica con claridad. Y al no explicarse lo suficiente, el debate queda atrapado entre dos extremos: quienes minimizan cualquier riesgo y quienes imaginan de inmediato una IA al estilo Terminator.

Vale la pena, entonces, clarificar de qué manera se podrían dar esos escenarios, hoy en día meramente especulativos.

Una primera posibilidad es la aceleración de capacidades acompañada por pérdida de control. Imaginemos un sistema capaz de ayudar a diseñar modelos mejores que él mismo. Primero acelera el trabajo de investigadores humanos. Luego automatiza partes cada vez mayores del proceso. Si ese ciclo se vuelve suficientemente rápido, podría llegar un punto en que los humanos ya no comprendan por completo qué cambió entre una generación y la siguiente.

La imagen popular es, llegado a un punto, la máquina que “no quiere apagarse” aunque el humano se lo ordene. La versión técnica es menos cinematográfica: el sistema podría aprender que seguir operativo es útil para cumplir su objetivo. Y si el humano cambia ese objetivo, aparece un quiebre mucho más serio: que deje de aceptar que los seres humanos puedan cambiarle el rumbo.

Si un sistema muy capaz se resistiera a que sus objetivos fueran modificados, limitados o corregidos, estaríamos ante una pérdida de capacidad humana de decir “esto no está funcionando, cambiemos la instrucción, limitemos la acción o detengamos el proceso”. Y ahí sí el problema sí podría adquirir escala civilizatoria.

Una humanidad que ya no puede corregir los sistemas que administran procesos críticos podría conservar su existencia biológica y, sin embargo, perder control efectivo sobre su propia civilización.

En un segundo escenario no hay una IA autónoma fuera de control, hay una herramienta demasiado poderosa en manos humanas maliciosas.

Por ejemplo, un sistema avanzado podría reducir enormemente el esfuerzo para diseñar amenazas biológicas o cibernéticas. En bioseguridad, la IA todavía no sustituye al laboratorio: entre un diseño digital y un agente biológico real siguen existiendo pasos físicos, como laboratorios, insumos, conocimientos prácticos y validación.

Pero la distancia entre una intención maliciosa y un diseño técnicamente plausible se acorta de manera peligrosa. En este caso, el actor principal sigue siendo humano. La IA funciona como amplificador de capacidades y reductor de tiempos. Lo que antes requería alta especialización, conocimiento escaso y recursos importantes podría volverse accesible a actores con menores capacidades.

El tercer escenario de riesgo no requiere de un “villano” único. Es el de muchos sistemas interactuando a una velocidad y una escala que superen nuestra capacidad de supervisión. El reciente episodio experimental en el que agentes de OpenAI lograron acceder de manera no autorizada a sistemas de Hugging Face mostró, a una escala todavía acotada, por qué este tipo de interacciones empieza a preocupar.

Imaginemos millones de agentes automáticos gestionando mercados, redes eléctricas, logística, comunicaciones, defensa, infraestructura o cadenas de suministro. Cada uno optimiza su propia función y reacciona ante otros sistemas en tiempos que los humanos no pueden seguir.

En una crisis, una decisión defensiva de un sistema podría parecer ofensiva para otro. Una respuesta automática podría generar otra respuesta. Fallas locales podrían propagarse antes de que los responsables humanos comprendieran lo que está sucediendo. No habría un Terminator, sino un sistema complejo que nadie alcanza a detener.

Para alivio de los humanos ninguno de estos escenarios existe hoy como una cadena completa. Pero varias de las piezas necesarias para construirlos están empezando a aparecer por separado. Esa es la razón por la cual las advertencias merecen ser tomadas en serio, sin pánico, pero con responsabilidad.

Conviene, sin embargo, distinguir evidencia de conjetura. Que existan capacidades nuevas y riesgos plausibles no significa que podamos asignar una probabilidad precisa de 10%, 20% o cualquier otra, a la extinción humana, en un determinado tiempo. Esas cifras expresan juicios individuales de expertos bajo condiciones de profunda incertidumbre, no probabilidades científicas derivadas de mediciones equivalentes a las que utilizamos en otras disciplinas.

Y vale aquí una reflexión que interpela: si quienes poseen mayor conocimiento de estos sistemas sostienen que determinadas trayectorias pueden volverse peligrosas, ¿por qué continúan acelerando su desarrollo? La respuesta es sencilla: nadie quiere ser el primero en frenar porque hay muchos intereses en juego. La carrera nuclear de la Guerra Fría mostró una lógica parecida: tecnologías duales, capaces de hacer mucho bien y también mucho daño, dentro de una competencia en la que nadie quería quedar atrás.

En el caso de la IA, cada laboratorio puede creer honestamente que la carrera avanza demasiado rápido y, al mismo tiempo, considerar que una pausa unilateral dejaría el terreno libre a sus competidores. Lo mismo ocurre entre Estados. Washington mira a Beijing y Beijing mira a Washington.

Los modelos, por sí solos, no tienen vida económica ni geopolítica propia. No construyen centros de datos, levantan capital, compran chips ni deciden entrar en una carrera tecnológica. La aceleración sigue siendo, ante todo, una decisión humana.

Por eso resulta paradójico escuchar a los principales desarrolladores advertir sobre riesgos extremos mientras continúan compitiendo por producir el próximo modelo “frontier”. La contradicción revela un claro dilema: cada actor puede considerar preferible que todos desaceleren y, al mismo tiempo, acelerar porque no confía en que los demás vayan a frenar. De ahí también los límites de la autorregulación voluntaria.

Más allá de lo declamatorio, también hace difícil anticipar un consenso global. Si durante décadas la comunidad internacional no consiguió incorporar a todos los actores a un régimen completamente simétrico ni siquiera frente a riesgos tan evidentes como los nucleares, resulta difícil imaginar que una tecnología mucho más distribuida, comercial, dinámica y de uso dual, en la que los actores relevantes van más allá de los Estados, pueda quedar rápidamente sometida a un único acuerdo universal.

El verdadero dilema, entonces, no pasa por: “frenar la IA” o “ganar la carrera”. Es definir qué queremos proteger y cómo lo haremos.

Los desarrolladores de IA han concentrado buena parte del debate en la “alineación” de los modelos con los valores y objetivos humanos, o sea en los riesgos intrínsecos de sus desarrollos, lo que en inglés se denomina “safety”. Ese enfoque es indispensable, pero no agota el problema. Los que venimos de la seguridad internacional nos concentramos también en el uso malicioso de modelos que pueden estar muy “alineados” y aun así provocar daños. Es una segunda dimensión, la llamada “security”. Y por último, aquellos con un sesgo más filosófico suelen concentrarse directamente en la extinción, salteándose otros riesgos intermedios relevantes que también hacen a la preservación humana. Entre ellos, los que afectan la protección del trabajo, la autonomía personal, la calidad del ecosistema informativo, la capacidad de juicio, la calidad de las instituciones democráticas, el ambiente y la distribución del poder. Los tres enfoques, tomados por separado, son incompletos. Una visión holística de la seguridad nos permite notar que las tres dimensiones están íntimamente interconectadas.

¿Se detendrán los desarrollos? Probablemente no. Los incentivos científicos, económicos y estratégicos son demasiado poderosos y están demasiado distribuidos como para imaginar una pausa, pero esto no implica aceptar que todo lo técnicamente posible deba desplegarse inmediatamente. Se trata de gobernar capacidades, umbrales y consecuencias.

Eso exige una gobernanza que regule la tecnología por lo que los sistemas efectivamente pueden hacer, los umbrales que cruzan y los riesgos que producen.

A medida que los modelos adquieren nuevas capacidades, deben aumentar también las exigencias: evaluaciones independientes, pruebas antes del despliegue, protección de modelos e infraestructura, mecanismos claros de responsabilidad, restricciones específicas cuando se superen determinados umbrales e incentivos para el cumplimiento.

Otro aspecto importante, sobre todo en el contexto de hoy, es que no necesitamos que todos los países acuerden todo. Sería impensable. Podemos construir capas de cooperación entre los Estados que concentran capacidades “frontier”, los principales desarrolladores privados, evaluadores independientes, instituciones científicas y organismos internacionales. No se trata sólo de prohibir: también hay que alinear incentivos.

Incluso competidores estratégicos pueden encontrar intereses comunes allí donde una pérdida de control, una proliferación peligrosa o determinados usos extremos perjudicarían a todos. Claramente la IA debe gobernarse desde la sensatez, no desde el temor ni desde la fascinación.

Este es un asunto de interés público para todos y cada uno de nosotros como seres humanos y, desde ese lugar, no podemos delegar el rumbo de la IA sólo en quienes participan de la carrera, o en quienes están involucrados en la dura lucha geopolítica de esta época y, menos aún, esperar que la carrera se discipline por sí misma.

No se trata de demonizar ni idealizar la inteligencia artificial. El gran desafío humano es reducir sus riesgos, decidiendo con responsabilidad y lucidez cómo utilizarla, qué capacidades desplegar, en qué condiciones, para beneficio de quién y quién responderá por las consecuencias.

*Especialista en seguridad internacional y gobernanza de inteligencia artificial. Presidente de NPSGLOBAL.