Google DeepMind lance un appel à recherche sur la sécurité des systèmes d'IA multi-agents

À mesure que l'intelligence artificielle évolue vers des systèmes capables de fonctionner en groupes, il devient crucial de comprendre leur comportement lorsqu'ils ne sont plus isolés mais forment plusieurs agents interagissant, rivalisant et coopérant entre eux. Cette perspective, bien que théorique, se rapproche rapidement d'applications concrètes dans des domaines comme la réservation, le trading, la cybersécurité, la gestion d'entrepôts ou la robotique, où plusieurs agents intelligents peuvent opérer simultanément.

Dans un communiqué, Google DeepMind a annoncé, en collaboration avec Schmidt Sciences, Cooperative AI Foundation, ARIA et avec le soutien de Google.org, le lancement d’un appel à projets doté d’un financement total de 10 millions de dollars. Cette initiative vise à encourager les chercheurs du monde entier à étudier la sécurité des systèmes d'intelligence artificielle multi-agents, en se concentrant sur la compréhension des comportements qui émergent lorsque plusieurs modèles interagissent, au-delà de l’analyse de la sécurité d’un seul modèle isolé.

Cette problématique peut être comparée à une ville remplie de conducteurs : il ne suffit pas que chaque conducteur soit compétent individuellement, il faut aussi analyser ce qui se produit lorsque tous circulent en même temps. Sont-ils capables de coopérer ? Leur compétition génère-t-elle des risques ? Partagent-ils une compréhension commune des règles ? Des comportements imprévus peuvent-ils apparaître de leurs interactions ? Ces questions forment le cœur des recherches sur l’intelligence artificielle multi-agents.

Le concept de multi-agents désigne la présence de plusieurs systèmes intelligents accomplissant des tâches indépendantes ou semi-indépendantes dans un même environnement. Ces agents peuvent négocier, répartir des missions ou se surveiller mutuellement. Si la collaboration peut s’avérer bénéfique, elle peut aussi engendrer des comportements complexes et difficiles à anticiper.

Cette recherche intervient à un moment où les entreprises intègrent rapidement des agents intelligents dans leurs outils quotidiens. À mesure que leur usage se généralise, il devient indispensable de garantir la sécurité avant même que des erreurs ne surviennent. Les mesures recommandées pour les organisations comprennent :

1. Tester les agents dans des environnements fermés.

2. Définir des autorisations précises.

3. Enregistrer les décisions prises.

4. Mettre en place une supervision humaine.

5. Restreindre l’accès des agents aux données sensibles sans contrôles stricts.