Google impulsa investigación sobre seguridad en sistemas de inteligencia artificial con múltiples agentes

La inteligencia artificial avanza hacia modelos que trabajan en conjunto, lo que plantea la necesidad de comprender cómo se comportan cuando no actúan de forma aislada, sino como múltiples agentes que interactúan, compiten y colaboran entre sí. Esta situación, aunque pueda parecer teórica, está muy próxima a aplicarse en ámbitos como sistemas de reservas, comercio, ciberseguridad, gestión de almacenes y robótica, donde varios agentes inteligentes podrían operar simultáneamente.

En un comunicado de Google DeepMind, se anunció una convocatoria de financiación de hasta 10 millones de dólares destinada a investigadores de todo el mundo. Esta iniciativa, desarrollada en colaboración con Schmidt Sciences, Cooperative AI Foundation, ARIA y con el apoyo de Google.org, tiene como objetivo analizar la seguridad de sistemas de inteligencia artificial con múltiples agentes. La propuesta se centra en estudiar el comportamiento de estas plataformas cuando varios modelos interactúan entre sí, en lugar de evaluar la seguridad de un solo modelo aislado.

La analogía utilizada para explicar esta problemática es la de una ciudad llena de conductores: no basta con que cada conductor sea hábil individualmente, sino que es necesario entender qué ocurre cuando todos se desplazan al mismo tiempo. Se plantea si colaboran, si compiten de manera riesgosa, si comprenden las mismas reglas y si pueden surgir comportamientos inesperados a partir de sus interacciones. Este es el núcleo de la investigación en "inteligencia artificial con múltiples agentes".

Concepto de inteligencia artificial con múltiples agentes

Este enfoque implica que varios sistemas inteligentes llevan a cabo tareas independientes o parcialmente independientes dentro de un mismo entorno. Por ejemplo, agentes que negocian, distribuyen tareas o se supervisan mutuamente. Aunque la cooperación puede ser beneficiosa, también puede generar comportamientos complejos que resultan difíciles de predecir con antelación.

Motivaciones para iniciar la investigación ahora

El impulso a esta línea de investigación surge porque las empresas están integrando agentes inteligentes en sus herramientas de trabajo cotidianas a un ritmo acelerado. A medida que su uso se expande, garantizar la seguridad desde las fases iniciales resulta más importante que corregir errores tras su aparición. Las medidas prácticas que se están adoptando incluyen:

• Realizar pruebas de los agentes en entornos controlados.
• Establecer permisos claros para su actuación.
• Registrar las decisiones tomadas por los agentes.
• Implementar revisiones humanas de sus acciones.
• Restringir el acceso abierto de los agentes a datos sensibles mediante controles específicos.