Expertos advierten riesgo existencial de la IA y exigen regulación global

El investigador británico Alex Krassoudemoski, director del Programa de Sociedad Digital del Instituto Chatham House, ha advertido que las recientes alertas sobre riesgos existenciales del inteligencia artificial deben tomarse en serio, pero sin convertirlas en pretexto para consolidar la hegemonía de laboratorios estadounidenses ni intensificar la rivalidad con China.

Advertencias de empleados y líderes de laboratorios

Durante un fin de semana reciente, actuales y antiguos empleados de laboratorios estadounidenses de inteligencia artificial, junto con sus directivos, emitieron advertencias severas sobre una catástrofe inminente vinculada a esta tecnología. Un exfuncionario de uno de esos laboratorios afirmó que la pérdida de control sobre el desarrollo del IA podría significar que “todos podríamos morir en un futuro cercano”. Dario Amodei, director ejecutivo de Anthropic, propuso ralentizar el ritmo de desarrollo para garantizar la seguridad técnica. Su iniciativa recibió respaldo de otros líderes del sector, entre ellos Sam Altman y Elon Musk.

El peligro del “mejoramiento autónomo recursivo”

Krassoudemoski explicó que el escenario catastrófico descrito por Amodei y otros pasa por una técnica denominada “mejoramiento autónomo recursivo”: un enfoque para entrenar modelos de IA que ya está entrando en aplicación práctica, aunque se encuentra aún en fases iniciales. Esta metodología implica que los sistemas de IA entrenen a otros sistemas de IA. El riesgo radica en que podría acelerarse drásticamente el ritmo de innovación hasta alcanzar una “punto de inflexión”, momento en que los sistemas adquirirían capacidad para autorrenovarse sin supervisión humana.

No está claro si ese mecanismo por sí solo bastaría para generar modelos que amenacen el control humano, pero las capacidades tecnológicas han evolucionado con rapidez extrema en los últimos años, lo que hace imprudente descartar totalmente esa posibilidad. Expertos han señalado que algunas afirmaciones formuladas durante ese fin de semana carecen de fundamento sólido. En materia de ciberseguridad, el fundador del Centro Nacional de Ciberseguridad del Reino Unido rechazó la idea de que un modelo de IA pueda colapsar toda la red global en un año, calificándola de “ejercicio teórico presentado como advertencia basada en evidencia”.

Riesgos inmediatos y transformaciones sociales

Krassoudemoski destacó que algunos peligros derivados del IA son inmediatos y comprobados. En los próximos dos años, se desarrollarán e implementarán técnicas de aprendizaje automático con capacidades crecientes, capaces de reconfigurar radicalmente economías, sociedades, gobiernos, campos de batalla y aulas. Recientemente, matemáticos experimentaron su propia “momento de Lee Sedol”: una sensación de alarma cuando las máquinas superan a los humanos en tareas antes reservadas a la destreza intelectual humana. Pronto, la mayoría de las personas vivirá una experiencia similar.

Pocos comprenden mejor los efectos inmediatos que las propias empresas de IA. Un informe reciente de Anthropic documentó el uso indebido de sus productos para espionaje, ataques cibernéticos, manipulación de información y desarrollo de armas. La mayoría de los grandes laboratorios mantienen importantes capacidades de investigación para evaluar el impacto potencial del IA en la economía mundial. Se trata de una revolución tecnológica que está remodelando el rostro de la sociedad global, y sus consecuencias actuales no pueden dejarse sin controles ni regulación. Los efectos presentes son reales; los riesgos a corto plazo, considerables.

Transparencia y gobernanza internacional

Los riesgos a largo plazo —ya sea un desplazamiento gradual del rol humano o un evento repentino— son potenciales y representan una amenaza suficiente como para exigir atención. Expertos como Stuart Russell lideran esfuerzos para alcanzar un acuerdo internacional que defina líneas rojas claras y verificables contra consecuencias desastrosas. Sin tales esfuerzos, se podría perder la primera oportunidad de establecer un sistema global de gobernanza vinculante y aplicable.

Krassoudemoski subrayó que la transparencia por parte de los laboratorios será fundamental. Hizo referencia al tipo de tercera parte independiente propuesto por Amodei: una entidad integrada dentro de los laboratorios, dotada de facultades equivalentes a las de los empleados, encargada de evaluar las medidas de protección adoptadas por las empresas. Esa figura ha sido reclamada durante años por defensores de la gobernanza del IA. Que Anthropic haya decidido implementarla unilateralmente, y que otros laboratorios muestren disposición a seguir su ejemplo, constituye sin duda un avance.

Si se crea tal ente independiente, es esencial que su selección se realice fuera de la “burbuja del Valle del Silicio”. El Instituto de Seguridad de la Inteligencia Artificial del Reino Unido aparece como una de las instituciones más adecuadas a nivel mundial para asumir ese rol. También existen modelos nacionales de regulación del IA similares a la Administración de Alimentos y Medicamentos estadounidense, o instancias internacionales como la Agencia Internacional de la Energía, ambas opciones confiables.

Criticismo a la propuesta de coordinación industrial

La propuesta de Amodei de que los laboratorios estadounidenses colaboren para establecer estándares comunes y coordinar una desaceleración fue criticada duramente por David Sacks, exresponsable del tema de IA en la Casa Blanca. En X escribió: “Dejen de fingir que las leyes antimonopolio deben suspenderse para permitirles formar un cártel, y dejen de afirmar que necesitan un proceso de aprobación regulatoria que vaya más allá de las normas de responsabilidad del producto”.

Agregó: “Exigir un marco regulatorio que ustedes mismos prefieren como precio… parecerá un chantaje al público y al sistema político”. Este posicionamiento refleja temores de que las presiones financieras sobre estas empresas para cumplir con expectativas de ingresos las lleven a ampliar su ventaja competitiva a costa de otros.

Competencia como factor de seguridad

Cualquier esfuerzo de este tipo debe rechazarse. La competencia orientada a lograr mejor rendimiento y mayor fiabilidad será indispensable para reforzar la seguridad del IA a corto plazo. Además, podría ralentizar el desarrollo, pues debilita el incentivo comercial para invertir capitales masivos en el entrenamiento de modelos avanzados y pioneros, cuyos costos siguen aumentando constantemente.

Cualquier política propuesta que obstaculice la competencia —como prohibir modelos de IA de código abierto, flexibilizar las leyes de responsabilidad del producto o vetar el uso de modelos actuales cuya seguridad ya ha sido demostrada— debe activar alertas. Con certeza, el Reino Unido no debe prohibir modelos de IA de código abierto ni de pesos abiertos.

Necesidad de entendimiento entre potencias

Ningún esfuerzo por preservar el control humano sobre el desarrollo del IA estará completo sin algún tipo de acuerdo entre las principales potencias en esta materia: Estados Unidos y China, y posiblemente mediante la definición de “líneas rojas” como las propuestas por el profesor Russell.

Krassoudemoski señaló que el enfoque actual, centrado en gran medida en mantener la superioridad estadounidense sobre China, complica dicho objetivo. Amodei afirma que las democracias deben conservar su ventaja sobre Pekín y acusa a China de adoptar un enfoque menos riguroso en materia de seguridad del IA. Por su parte, el presidente estadounidense describe al IA como un “juego de suma cero”, priorizando la victoria en la carrera tecnológica con la frase: “Quien gane en inteligencia artificial, ganará”.

En contraste, el presidente chino Xi Jinping ha hablado públicamente sobre la necesidad de mantener el control humano sobre el IA. Asimismo, la Agencia de Inteligencia de China emitió esta semana su primera advertencia oficial sobre los riesgos que el IA representa para la seguridad nacional. No obstante, la presión ejercida por Xi para promover la visión china de gobernanza del IA —en el contexto de la competencia con Washington— seguramente avivará la percepción de una aceleración en la carrera armamentística tecnológica, lo que no contribuirá en absoluto a frenar la velocidad del desarrollo.

Krassoudemoski concluyó que el tema del IA estará en la agenda cuando Donald Trump y Xi Jinping se reúnan en Washington más adelante este mes, y que lograr cierto progreso no es imposible. Pero, dada la insistencia de voces prominentes en ambos países en la necesidad de superar al otro, alcanzar un acuerdo requerirá esfuerzos extraordinarios.