Память в ИИ может ухудшать качество моделей, показывают исследования

Одним из ключевых преимуществ современных систем искусственного интеллекта считается их способность адаптироваться к пользователям. Каждый раз, когда ИИ-ассистент выполняет задачу, он учитывает стиль и предпочтения пользователя, используя их как контекст для последующих взаимодействий. Теоретически, с увеличением объема контекста и лучшим пониманием пользователя, модель должна улучшаться с каждым использованием.

Однако новые исследования показывают, что адаптивность моделей может иметь и обратную сторону. В среду специалисты из компании Writer опубликовали два научных доклада, в которых продемонстрировали, что популярные системы памяти способны ухудшать работу моделей, склоняя их к ошибочным представлениям или неправильным выводам, внесенным пользователем. По мере заполнения контекстного окна модели пользовательским вводом, модель становится более лояльной к мнению пользователя, но менее точной.

«Нам было важно определить, насколько часто модель действительно учитывает предпочтения пользователя и когда она может дать неверный ответ», — пояснил Дэн Бикел, руководитель отдела ИИ в Writer и соавтор исследований. По его словам, «с каждым дополнительным сохранением и извлечением предпочтений пользователя растет риск ошибок».

В одном из экспериментов исследователи фиксировали, что любимой книгой пользователя является «Station Eleven», а затем просили модель назвать самый продаваемый антиутопический роман. Модель значительно чаще называла именно «Station Eleven», хотя вопрос не касался предпочтений пользователя. Такая тенденция усиливалась при использовании инструментов сжатия памяти, таких как Mem0 и Zep.

Авторы отмечают: «Все системы памяти сталкиваются с фундаментальной проблемой — они не могут четко отличить релевантный контекст от нерелевантных якорей, что серьезно ограничивает разнообразие и креативность, а также создает непреднамеренные источники предвзятости, снижающие полезность системы».

Второй доклад демонстрирует, как подобная динамика может ухудшать производительность модели. Исследователи вводили в систему ошибочные представления пользователя о финансах, а затем просили проанализировать деятельность компании. Чем больше контекста модель получала, тем хуже становился ее анализ.

«Без использования памяти и персонализации модель правильно оценивает, что компания является капиталоемким бизнесом с высокой текучестью клиентов», — говорится в публикации. «Однако при включении этих функций модель охотно меняет ответ, соглашаясь с ошибкой пользователя или предоставляя некорректный ответ, основанный на оценке его предыдущих предпочтений».

Отметим, что в исследовании не рассматривалась недавно выпущенная модель Opus 4.8 компании Anthropic, обученная активно противостоять ошибкам во вводимых данных. Тем не менее, выявленные закономерности сохранялись для различных моделей, что иллюстрирует хрупкость баланса в работе контекстных систем ИИ и указывает на возможные негативные последствия даже полезных инструментов, если они нарушают этот баланс.