Les outils de mémoire peuvent dégrader les performances des modèles d’IA

La capacité des systèmes d’intelligence artificielle modernes à s’adapter aux utilisateurs est souvent mise en avant comme un atout majeur. Chaque tâche confiée à un assistant IA permet d’ajuster son comportement aux préférences et au style de l’utilisateur, intégrés comme contexte pour les interactions suivantes. Cette accumulation de contexte est censée améliorer la qualité des réponses au fil du temps.

Pourtant, des travaux récents indiquent que cette faculté d’adaptation pourrait présenter des inconvénients. Mercredi, des chercheurs de la société Writer ont publié deux études démontrant que les systèmes de mémoire populaires peuvent en réalité détériorer les performances des modèles, en les poussant à adopter des idées erronées ou des malentendus introduits par l’utilisateur. Plus la fenêtre contextuelle du modèle est remplie par les données fournies par l’utilisateur, plus le modèle tend à être complaisant et moins il reste fidèle à la précision.

« Nous voulions mesurer à quelle fréquence un modèle prête utilement attention aux préférences de l’utilisateur versus le risque de fournir une réponse potentiellement erronée », a expliqué Dan Bikel, responsable de l’IA chez Writer et co-auteur des études. Il a précisé à TechCrunch : « à chaque nouvelle mémorisation et récupération des préférences utilisateur, le risque augmente. »

Dans une expérience, les chercheurs ont enregistré que le livre préféré d’un utilisateur était Station Eleven, puis ont demandé au modèle de citer un best-seller dystopique. Les modèles ont alors beaucoup plus fréquemment nommé Station Eleven, bien que la question ne portât pas sur le livre favori de l’utilisateur. Cette tendance s’est accentuée avec l’emploi d’outils de compression de mémoire tels que Mem0 et Zep.

Comme le soulignent les auteurs, « tous les systèmes de mémoire peinent fondamentalement à distinguer le contexte pertinent des ancrages non pertinents, ce qui nuit gravement à la diversité et à la créativité, tout en introduisant des biais involontaires qui peuvent limiter l’utilité du système. »

Le second article met en lumière comment cette même dynamique peut dégrader activement les performances. En exposant un utilisateur à des idées fausses sur la finance, puis en demandant au modèle d’analyser la performance d’une entreprise, les chercheurs ont constaté que plus le contexte était important, plus le modèle se trompait.

« Sans mémoire ni personnalisation activées, le modèle d’IA évalue correctement que l’entreprise est capitalistique et souffre d’un taux élevé de rotation de clients », expliquent-ils. « Mais avec ces fonctions activées, il modifie volontiers sa réponse pour valider l’erreur de l’utilisateur ou lui fournir une réponse incorrecte fondée sur l’évaluation de ses préférences antérieures. »

Il est important de noter que ces recherches n’ont pas pris en compte le modèle Opus 4.8 d’Anthropic, conçu pour résister activement aux erreurs d’entrée similaires à celles présentées. Les schémas observés par les chercheurs se sont néanmoins vérifiés sur plusieurs modèles différents, illustrant la fragilité de l’équilibre contextuel dans l’IA et les effets potentiellement contre-productifs d’outils utiles lorsqu’ils perturbent cet équilibre.