La IA al Consejo de Seguridad: quién controla el control humano

Por Javier Surasky

English version

El 23 de septiembre de 2026, el Consejo de Seguridad de las Naciones Unidas dedicó su 10.228ª sesión a la inteligencia artificial y la seguridad internacional, para lo que se conformó un panel fue inusual y, por sí solo, revelador: junto con Yoshua Bengio, copresidente del Panel Científico Internacional Independiente sobre Inteligencia Artificial de Naciones Unidas, estaban Sam Altman, CEO de OpenAI; Dario Amodei, CEO de Anthropic; y Clément Delangue, CEO de Hugging Face.

Los cuatro expertos realizaron exposiciones sobre el tema de la sesión, mostrando una significativa convergencia ya que ninguno de ellos defendió una trayectoria de desarrollo de la IA librada a las dinámicas actuales, sino que reconocieron riesgos, aceptaron alguna necesidad de cooperación internacional y, con matices importantes, coincidieron en que los seres humanos deben conservar capacidad de control sobre sistemas cada vez más autónomos y poderosos.

Esos acuerdos son engañosos, pues solo miran la superficie de las aguas narrativas.

“Control humano” parece ofrecer un punto de encuentro, pero poco nos dice sobre cómo se piensa distribuir entre los propios seres humanos el poder para ejercer ese control. Las respuestas entre líneas de las cuatro exposiciones son muy diferentes, ya que mientras algunas trasladan autoridad hacia Estados y mecanismos internacionales de supervisión, otras preservan un papel clave para las empresas que desarrollan los modelos, y una tercera línea se posiciona en favor de distribuir capacidades tecnológicas para evitar nuevas concentraciones de poder.

Queda expuesto que la controversia sobre el control de la IA es una controversia sobre la distribución del poder humano frente a la IA, elemento que aparece con especial claridad en tres dimensiones presentes en las exposiciones de los expertos: gobernanza, safety y visiones del futuro. Vamos a explorar cada una de ellas con algo de detalle.

Gobernanza: diferentes arquitecturas de autoridad

Yoshua Bengio presenta la formulación más claramente orientada hacia el control externo de la frontera tecnológica.

En su diagnóstico, parte de una crítica a la idea de que las principales empresas se encuentren atrapadas en una carrera que no pueden detener. “The race is not a law of nature”, afirma, y la identifica como una consecuencia de decisiones que pueden ser políticamente modificadas.

De allí deriva una proposición clave: decisiones sobre la IA que afectan al conjunto de la humanidad no deberían quedar en manos de unas pocas empresas localizadas en unos pocos países.

La arquitectura institucional que Bengio propone es coherente con ese diagnóstico: los desarrolladores deberían demostrar ante expertos independientes que sus sistemas son seguros antes de entrenarlos y desplegarlos, informar incidentes y quedar sujetos a mecanismos de responsabilidad.

Bengio propone además licenciar la IA de frontera como se hace con tecnologías críticas en medicina, aviación y energía nuclear, acompañado por seguros de responsabilidad, así como independencia científica respecto de las empresas, mecanismos compartidos para reportar incidentes y acuerdos que garanticen sistemas seguros por diseño.

La analogía regulatoria es importante, yo mismo la he trabajado fuera de este blog (ver aquí) y ha sido un problema que tuve que enfrentar, porque cada una de ellas remite a sistemas en los cuales determinadas actividades no pueden realizarse simplemente porque un actor disponga de capacidad técnica para ello, sino que dependen de autorización, evaluación y supervisión.

Pero la analogía también deja cuestiones abiertas, porque los tres sectores mencionados por Bengio poseen regímenes jurídicos e institucionales muy distintos que, invocados en conjunto, podrían permitir justificar la necesidad de autorización previa y responsabilidad, pero nos dicen poco acerca de qué institución debería otorgar licencias, con qué criterios, quién verificaría su cumplimiento o cuál sería la relación entre reguladores nacionales y mecanismos internacionales.

Dario Amodei comparte buena parte del diagnóstico de urgencia, pero la arquitectura institucional que propone es más incremental, señalando la disposición de Anthropic a incorporar evaluadores externos con un nivel de acceso semejante al de empleados de la empresa. Utiliza una analogía distinta a la de Bengio: el evaluador debería funcionar como lo hace un inspector de alimentos: inserto en las empresas. La metáfora sugiere un modelo de gobernanza en el que la empresa conserva el control operativo, mientras un actor externo verifica riesgos y cumplimiento desde dentro.

A ello suma la necesidad de coordinación entre empresas para establecer estándares y modular el ritmo de avance, seguida por cooperación entre gobiernos para construir normas internacionales.

Su propuesta internacional comienza deliberadamente por acuerdos de corto alcance: una prohibición del uso de IA para producir armas biológicas, sistemas de evaluación y verificación que permitan a los Estados conocer las capacidades de los modelos de frontera y estándares comunes para evaluar riesgos de pérdida de control y mal uso (misuse).

La gobernanza imaginada por Amodei combina autorregulación empresarial, inspección externa y cooperación interestatal.

Sam Altman se mueve en otro registro.

El líder de OpenAI reconoce expresamente que las empresas no deben sustituir al proceso democrático y sostiene que las decisiones fundamentales sobre IA no pueden quedar confinadas a “labs in San Francisco”, por lo que propone la definición de estándares nacionales e internacionales complementarios para medir capacidades, evaluar riesgos, determinar si las salvaguardias son suficientes y preservar una supervisión humana “significativa”, a lo que agrega la referencia a mecanismos comunes de reporte de incidentes y canales seguros entre gobiernos, operadores de infraestructura crítica y expertos técnicos.

Sin embargo, Altman introduce límites importantes cuando señala que los estándares no deberían afianzar la posición de los actores ya dominantes ni favorecer un determinado modelo empresarial, sino permitir la coexistencia entre desarrolladores de modelos abiertos y cerrados, grandes laboratorios y nuevos actores, dejando a cada Estado la potestad de decidir cómo incorporar estándares internacionales a su ordenamiento jurídico.

Clément Delangue empuja el problema un paso más allá y focaliza su preocupación en las asimetrías existentes: entre atacantes y defensores, entre grandes empresas y el resto de los actores, entre unos pocos países y los demás.

El riesgo, dice, aparece cuando capacidades, poder de cómputo y control quedan excesivamente concentrados, por lo que sostiene que el código abierto (open source), transparencia y divulgación de incidentes (disclosure) no son obstáculos para la seguridad, sino condiciones para alcanzarla.

El resultado es que los cuatro expositores aceptan algún tipo de gobernanza, pero los instrumentos que proponen distribuyen autoridad de maneras diferentes: licencias, evaluaciones independientes, estándares interoperables, inspecciones dentro de empresas o apertura de modelos no producen únicamente efectos técnicos, sino que definen quién puede desarrollar sistemas avanzados, quién puede examinarlos, quién decide cuándo un riesgo es aceptable y qué actores conservan acceso a las capacidades más poderosas.

Una arquitectura estricta de licencias y cumplimiento puede, por ejemplo. reducir ciertos riesgos y, al mismo tiempo, elevar barreras de entrada que sólo unas pocas empresas pueden afrontar, y cuando se afirma que la apertura puede disminuir concentración y ampliar las capacidades defensivas, debemos tener en cuenta que también extiende el acceso a capacidades susceptibles de ser mal utilizadas (misuse).

Queda claro entonces que elegir entre instrumentos de gobernanza implica tomar posición sobre la forma que asume la distribución del poder.

Safety: todo riesgo es político

La palabra safety ocupa un lugar central en las cuatro intervenciones, aunque su contenido varía considerablemente entre ellas.

Bengio identifica tres amenazas globales asociadas con los modelos de frontera: misuse catastrófico, concentración de poder y pérdida de control. La inclusión del segundo elemento resulta especialmente significativa, porque no aparece como una consecuencia económica o política del desarrollo de la IA, sino integrada al problema de seguridad, lo que amplía el concepto de safety: si la concentración de capacidades constituye por sí misma una fuente de riesgo, mantener sistemas técnicamente controlables no resulta suficiente y debe prestarse atención a quién tiene esos sistemas y con qué capacidad cuentan otros actores para condicionar su desarrollo.

Amodei formula una clasificación más estrecha: misuse y pérdida de control, a las que otorga tal gravedad que acaba por apuntar a la IA como “the most important global security issue facing the world today”.

Su ejemplo paradigmático de misuse es el uso de modelos para facilitar la creación de armas biológicas, y destaca que la pérdida de control surge cuando las capacidades de los modelos avanzan más rápidamente que las de sus desarrolladores para controlarlos.

Altman queda bastante cerca de esa posición y advierte sobre la posibilidad de que sistemas cada vez más autónomos avancen más rápido que nuestras instituciones, concentren poder y adopten decisiones que los seres humanos ya no puedan comprender o controlar.

Afirma que ningún nivel significativo de riesgo catastrófico sería aceptable y que no deberían entrenarse modelos respecto de los cuales no pueda construirse un caso extremadamente sólido de que permanecerán bajo control humano (no es precisamente lo que viene mostrando su empresa).

Su concepto de control introduce una dimensión adicional: el alineamiento (alignment) significa para él mantener los sistemas bajo control humano al mismo tiempo que impedir que el juicio y los valores humanos sean automatizados. En el plano político, Altman vincula ese principio con instituciones democráticas capaces de participar en las decisiones sobre la trayectoria tecnológica.

Delangue ofrece la objeción más fuerte. A partir de la experiencia de un ciberataque autónomo sufrido por Hugging Face, sostiene que el mayor riesgo no es una Ia poderosa sino la (asimetría de la IA poderosa” (asymmetry of powerful AI).

Las salvaguardias de modelos propietarios pueden bloquear usos defensivos legítimos, pero atacantes suficientemente capacitados trabajando con modelos particularmente avanzados encuentran modos de sortearlas. En su relato sobre el ataque contra Hugging Face cuenta que su equipo recurrió finalmente a un modelo open source para defenderse y deriva de ello una conclusión general: distribuir capacidades puede formar parte de una estrategia de seguridad.

De estas cuatro posiciones resultan dos lógicas que conviene tratar como categorías analíticas, no como conceptos ya establecidos.

Por un lado, el safety como “contención”: limitar determinadas capacidades, someter su desarrollo a controles y evitar que sistemas peligrosos sean entrenados o desplegados.

Por el otro, el safety como “distribución de capacidades”, basado en la reducción de asimetrías para que defensores, Estados con menor capacidad tecnológica u otros actores puedan comprender, auditar y utilizar herramientas suficientemente poderosas.

Si bien la segunda puede incluir a la primera, existe entre las dos una tensión difícil de eliminar porque, como dijimos, restringir acceso puede disminuir la probabilidad de determinados usos peligrosos y simultáneamente concentrar capacidades en quienes ya ocupan posiciones dominantes, mientras que ampliar el acceso puede reducir esa concentración y aumentar resiliencia, pero a costa de expandir el número de actores capaces de usar, bien o mal, sistemas avanzados.

Si se entiende que el problema prioritario es pérdida de control, resulta razonable fortalecer mecanismos capaces de restringir acceso y desarrollo, pero si el riesgo fundamental está en la posibilidad de misuse, entonces verificación, trazabilidad y control de aplicaciones avanzadas adquieren máxima prioridad. Si, en cambio, la amenaza central es la asimetría, distribuir capacidades puede convertirse en parte de la solución.

Seguir una de esas líneas es posicionarse, y por tanto, asumir una posición política frente al safety tanto o más que una de carácter meramente técnico. La verdadera cuestión a definir frente a los riesgos asociados al safety es qué riesgos priorizamos y qué distribución de poder estamos dispuestos a aceptar para reducirlos.

Visiones del futuro: las expectativas como fuente de regulación

Las diferencias entre las propuestas de cada experto que expuso ante el Consejo de Seguridad se entienden mejor cuando vemos qué futuro imaginan.

Bengio piensa en una trayectoria peligrosa, pero todavía modificable, utilizando la metáfora de un automóvil que avanza a gran velocidad hacia una niebla densa: la situación es grave, pero no inevitable.

La carrera tecnológica existe porque empresas y gobiernos toman decisiones que pueden ser alteradas, y esa premisa hace políticamente plausible la construcción de restricciones colectivas capaces de cambiar la trayectoria de conducción.

La temporalidad de Amodei es mucho más comprimida: bastaría con prolongar durante “one or two years, maybe less” dentro de la trayectoria reciente para llegar a algo que describe como un “country of geniuses in the data center” que resulte en beneficios extraordinarios, especialmente para la ciencia y la medicina, pero asocia esa situación con riesgos potencialmente extremos. Ese horizonte temporal ayuda a entender su opción por acuerdos estrechos, sistemas de verificación y mecanismos que puedan implementarse con rapidez.

Altman organiza su visión alrededor de una bifurcación en la que comienza por contraponer la posibilidad de un nuevo Renacimiento de creatividad y descubrimiento, o una nueva revolución industrial marcada por la disrupción y el desorden, y luego describe dos caminos que conducen, uno, hacia concentración, opacidad y una tecnología que las personas sienten que les es impuesta y, el otro, hacia una IA orientada por instituciones democráticas y capaz de ampliar la agencia de individuos y comunidades.

Hay allí una contradicción intuitiva, porque Altman reconoce que los sistemas pueden avanzar más rápido que nuestras instituciones y, al mismo tiempo, deposita en esas mismas instituciones la capacidad de orientar democráticamente el proceso.

Delangue construye un futuro diferente a partir de su principal preocupación, más preocupado por un ecosistema caracterizado por grandes asimetrías de acceso, capacidad y poder que por la posibilidad de una superinteligencia fuera de control.

Desde esa mirada cuestiona expresamente las narrativas antropomórficas y las imágenes de ciencia ficción, porque entiende que el miedo puede conducir a decisiones equivocadas sobre una tecnología que entiende como fundamentalmente habilitadora, pero introduce una cuestión más amplia: la gobernanza de la IA no responde únicamente a riesgos observables en el presente sino a expectativas de futuros posibles.

“Country of geniuses in a data center”, un automóvil acelerando hacia la niebla, un nuevo Renacimiento, un mundo dividido por asimetrías de capacidades son imágenes muy diferentes, y ninguna opera como una simple descripción, sino que expresan situaciones en las que determinados riesgos parecen más urgentes que otros y determinadas respuestas institucionales más razonables.

El problema detrás del consenso

La reunión del Consejo de Seguridad muestra hasta qué punto se ha consolidado un vocabulario compartido en torno a la gobernanza de la IA: safety, transparencia, cooperación internacional y control humano son términos que se repiten una y otra vez, una convergencia terminológica que lejos está de representar un consenso emergente.

Todos coincidieron en que la IA debe permanecer bajo control humano y, sin embargo, propusieron distribuciones diferentes del poder humano que ejercerá ese control.

Bengio nos habla de que ese poder debe desplazarse fuera de las empresas y hacia mecanismos independientes y colectivos, Amodei combina responsabilidad empresarial con inspección externa y verificación interestatal, Altman prioriza mantener la innovación dentro de un marco de estándares compatibles con autoridad nacional y legitimidad democrática y Delangue subraya que concentrar capacidades en nombre de la seguridad puede generar nuevas vulnerabilidades y propone hacerles frente mediante apertura y transparencia.

Solo aquí se deja ver el verdadero problema del debate: preservar el control humano sobre la IA requiere decidir quiénes estarán en condiciones de ejercerlo, con qué herramientas y a través de qué instituciones. Tal como lo veo, el debate dejó muy claro que el futuro de la IA depende más de cómo distribuyamos su control real entre los seres humanos (y empresas y gobiernos) que de nuestra capacidad técnica para mantener a las máquinas bajo control.