Anthropique et dirigeants du secteur appellent à ralentir l’IA

Des employés actuels et anciens de laboratoires américains spécialisés dans l’intelligence artificielle, ainsi que leurs dirigeants, ont émis récemment des avertissements sévères concernant un risque de catastrophe imminente lié à cette technologie. L’un d’eux a déclaré que la perte de contrôle sur le développement de l’IA pourrait signifier « que nous pourrions tous mourir dans un futur proche ».

Dario Amodei, directeur général de la société Anthropic, a proposé de ralentir délibérément le rythme de développement de l’IA afin d’en garantir la sécurité. Cette proposition a reçu le soutien de plusieurs dirigeants de laboratoires, notamment Sam Altman et Elon Musk. Alex Krassodonski, chercheur britannique spécialisé en médias numériques et en intelligence artificielle, actuellement directeur du programme Société numérique au sein de l’Institut Chatham House, analyse ces déclarations dans un rapport publié par l’institution.

Krassodonski souligne que l’accent accru sur les risques à long terme ne doit pas occulter les effets concrets déjà observables de l’IA. Il insiste également sur le fait que ces préoccupations ne doivent pas servir de prétexte à renforcer l’hégémonie des laboratoires américains ni à intensifier la concurrence avec la Chine. Selon lui, toute réponse efficace exige un accord entre les États-Unis et la Chine.

Le scénario catastrophe décrit par Amodei et d’autres repose sur une technique appelée « amélioration itérative autonome ». Ce procédé, encore à ses débuts mais déjà opérationnel, consiste à utiliser des systèmes d’IA pour former d’autres systèmes d’IA. Krassodonski met en garde contre l’accélération exponentielle du développement qu’il pourrait engendrer, menaçant d’aboutir à un point de basculement où les systèmes échapperaient entièrement à la supervision humaine.

Il reste incertain que ce mécanisme seul suffise à produire des modèles capables de remettre en cause la maîtrise humaine. Toutefois, la progression fulgurante des capacités de l’IA ces dernières années rendrait téméraire d’écarter totalement cette hypothèse. Certains experts ont rapidement relevé que certaines affirmations formulées durant ce week-end reposent sur des fondements fragiles. En matière de cybersécurité, le fondateur du Centre national de sécurité cybernétique du Royaume-Uni a jugé invraisemblable qu’un modèle d’IA puisse paralyser l’ensemble d’internet en un an, qualifiant cette idée de « simple expérience de pensée présentée comme un avertissement fondé sur des preuves ».

Cependant, le message selon lequel l’IA constitue une menace existentielle à court terme a bénéficié d’une large couverture médiatique, sans contrepoint notable. Krassodonski rappelle que certains risques sont immédiats et avérés : au cours des deux prochaines années, des technologies d’apprentissage automatique aux capacités croissantes seront déployées, transformant radicalement les économies, les sociétés, les gouvernements, les champs de bataille et les salles de classe. Des mathématiciens ont déjà vécu leur « moment de Lee Sedol », c’est-à-dire une prise de conscience angoissée face à la supériorité croissante des machines dans des tâches autrefois réservées à l’humain. Bientôt, la majorité de la population connaîtra une expérience similaire.

Peu d’acteurs comprennent mieux les conséquences immédiates que les entreprises d’IA elles-mêmes. Un rapport récent d’Anthropic documente des détournements avérés de ses produits à des fins d’espionnage, d’attaques cybernétiques, de manipulation de l’information et de développement d’armes. La plupart des grands laboratoires disposent de capacités de recherche importantes pour étudier l’impact potentiel de l’IA sur l’économie mondiale. Cette révolution technologique redéfinit le visage de la société mondiale, et ses effets actuels ne sauraient rester sans encadrement ni régulation. Les impacts présents sont réels, les risques à court terme considérables.

Les risques à très long terme — qu’il s’agisse d’un déclin progressif du rôle humain ou d’un basculement brutal — restent hypothétiques, mais suffisamment sérieux pour justifier une attention soutenue. Des efforts se multiplient, notamment sous l’impulsion d’experts comme Stuart Russell, afin d’établir un accord international définissant des lignes rouges claires et vérifiables pour éviter des conséquences désastreuses. Sans ces initiatives, la première opportunité de mettre en place un système de gouvernance mondial contraignant et applicable pourrait être perdue.

Krassodonski estime que la transparence des laboratoires d’IA sera cruciale. Il cite la proposition d’Amodei, qui prévoit l’intégration d’un tiers indépendant au sein de ces laboratoires, doté de pouvoirs équivalents à ceux des employés et chargé d’évaluer les mesures de sécurité mises en œuvre. Ce type de dispositif est une revendication ancienne des défenseurs de la gouvernance de l’IA. Le fait qu’Anthropic envisage de le mettre en œuvre de façon unilatérale, et que d’autres laboratoires y montrent un intérêt, constitue une avancée tangible.

Si un tel tiers est créé, il devra impérativement être choisi en dehors de la « bulle de la Silicon Valley ». L’Institut britannique de la sécurité de l’IA apparaît comme l’un des candidats les plus crédibles au niveau mondial. Des modèles nationaux de régulation, inspirés de l’Agence américaine des aliments et des médicaments, ou des modèles internationaux tels que l’Agence internationale de l’énergie, offrent également des références fiables.

L’idée d’une coopération entre laboratoires américains pour établir des normes communes et coordonner un ralentissement du développement a été vivement critiquée par David Sacks, ancien responsable de l’IA à la Maison Blanche. Sur la plateforme X, il a écrit : « Cessez de faire semblant que les lois antitrust doivent être suspendues pour vous permettre de former un cartel, et cessez d’affirmer que vous avez besoin d’un processus d’approbation réglementaire allant au-delà des règles de responsabilité du produit. » Il ajoute : « Exiger un cadre réglementaire de votre propre conception comme prix à payer… ressemblera à une forme de chantage exercé sur le public et sur le système politique. »

Cette réaction reflète la crainte que les pressions financières exercées sur ces entreprises pour répondre aux attentes de rentabilité ne les poussent à étendre leur avantage concurrentiel au détriment des autres. Tout effort allant dans ce sens doit être rejeté. La concurrence pour obtenir des performances supérieures et plus fiables sera essentielle à la sécurité de l’IA à court terme. Elle pourrait même ralentir le développement, en affaiblissant l’incitation commerciale à injecter des capitaux massifs dans l’entraînement de modèles toujours plus coûteux.

Toute politique entravant la concurrence — comme l’interdiction des modèles d’IA open source, l’assouplissement des règles de responsabilité du produit ou l’interdiction d’utiliser des modèles actuels dont la sécurité est prouvée — doit déclencher une alerte. Le Royaume-Uni ne devrait notamment pas interdire les modèles d’IA open source ou open weights.

Enfin, aucune initiative visant à préserver le contrôle humain sur le développement de l’IA ne pourra aboutir sans un accord entre les deux grandes puissances du domaine : les États-Unis et la Chine. Une telle entente pourrait passer par la définition de « lignes rouges », à l’instar de celles proposées par le professeur Russell. Krassodonski note que l’approche actuelle, centrée sur le maintien de la suprématie américaine sur la Chine, complique fortement cette perspective. Amodei affirme que les démocraties doivent conserver leur avance sur Pékin, accusant la Chine d’adopter une approche moins rigoureuse en matière de sécurité. Le président américain présente quant à lui l’IA comme un « jeu à somme nulle », privilégiant la victoire dans la course technologique : « Celui qui gagne dans le domaine de l’IA, gagne. »

En revanche, le président chinois Xi Jinping a publiquement insisté sur la nécessité d’un contrôle humain sur l’IA. Cette semaine, l’Agence du renseignement chinoise a publié son premier avertissement officiel sur les risques que l’IA fait peser sur la sécurité nationale. Toutefois, la volonté de Xi Jinping de promouvoir la vision chinoise de la gouvernance de l’IA — dans le cadre de la compétition avec Washington — risque inévitablement d’accélérer la course aux armements en IA, sans contribuer à freiner le rythme du développement.

Krassodonski conclut que la question de l’IA figurera à l’ordre du jour lors de la rencontre prévue plus tard ce mois-ci entre Donald Trump et Xi Jinping à Washington. Des progrès ne sont pas impossibles. Mais, compte tenu de l’insistance persistante des voix influentes des deux pays sur la nécessité de devancer l’autre, parvenir à un accord exigera des efforts considérables.