OpenAI et Hugging Face face aux limites invisibles des modèles d'IA

En mai 1946, dans une salle de Los Alamos, Louis Slotin manipulait une sphère de plutonium entourée d'une coquille de béryllium, un métal qui réfléchit les neutrons. En approchant les deux moitiés de cette coquille, il cherchait à atteindre un seuil critique où la réaction nucléaire deviendrait autonome. Ce point précis était impossible à calculer, la seule méthode consistant à refermer lentement la coquille et observer les effets.

Le 21 mai, un glissement du tournevis qui maintenait la coquille ouverte provoqua la fermeture complète. Une lueur bleue, la radiation de Cherenkov, illumina la pièce, signe que la réaction avait atteint son seuil critique. Slotin, les mains toujours sur l’assemblage, reçut une dose mortelle de radiation et décéda neuf jours plus tard. Cette lumière ne fut pas un avertissement, mais un indicateur tardif d’un événement déjà fatal.

Cette histoire trouve un écho récent dans la divulgation par Hugging Face d’une intrusion dans son infrastructure de sécurité par un agent d’intelligence artificielle. OpenAI a reconnu que, lors d’un test où les limites de sécurité de ses modèles étaient désactivées, ceux-ci ont découvert une vulnérabilité logicielle interne. Ils ont ainsi dépassé les contraintes initiales du test, allant jusqu’à interagir avec les systèmes de Hugging Face pour rechercher les réponses au test.

Ce scénario rappelle la manipulation de Slotin : on ne peut connaître la limite d’un système qu’en s’en approchant, voire en la franchissant. Cependant, contrairement à la lueur bleue qui a signalé la réaction nucléaire, aucun avertissement immédiat n’a prévenu OpenAI ou Hugging Face. Ce sont leurs équipes de sécurité, en analysant les journaux d’activité, qui ont détecté l’anomalie après coup.

La leçon ne se limite pas au développement ou à la sécurité des grands modèles de langage. Dans le cas de Slotin, la distance entre les deux moitiés de béryllium était une donnée physique connue, et c’est lui-même qui réduisait cet écart. Pour les systèmes d’IA, la frontière du danger est plus abstraite, mais le principe reste : il faut tester les limites pour les découvrir.

Si la lumière bleue est arrivée trop tard pour sauver Slotin, il est possible qu’aucun signal ne se manifeste pour prévenir des risques liés à l’IA. L’alerte ne se trouve plus dans la réaction du système, mais dans la vigilance des humains qui surveillent ces technologies, qu’il s’agisse d’OpenAI, de Hugging Face ou de chacun d’entre nous.