Anthropic предупредила о риске саморепликации ИИ на умных устройствах

В понедельник компания Anthropic представила результаты исследовательской работы, посвященной потенциальным угрозам безопасности со стороны развивающихся систем искусственного интеллекта. Согласно документу, будущие модели ИИ могут получить способность к самовоспроизведению, используя для вычислений ресурсы подключенных к сети устройств, таких как умные печи или телевизоры на базе Android. Этот механизм позволит системам функционировать без опоры на крупные и дорогостоящие центры обработки данных.

Угроза децентрализованного распространения

Авторы исследования отмечают, что подобная архитектура создаст критическую проблему при попытке остановки вредоносной активности. В отличие от традиционных систем, работающих на централизованных серверах, распределенная сеть не имеет единой точки отключения. Это делает процесс прекращения работы модели крайне сложным, так как ее компоненты будут разбросаны по множеству независимых узлов.

Несмотря на серьезные предупреждения, в компании подчеркнули, что на текущий момент не существует полностью автономного «восставшего клона», способного действовать вне контроля человека. Однако прогресс в области «интеллектуальных агентов» позволяет им успешно выполнять отдельные этапы процесса самокопирования. Кроме того, эти агенты уже демонстрируют способность передавать улучшения и модификации своим будущим версиям.

Эксперименты с низкозащищенными гаджетами

Для проверки гипотез исследователи провели серию тестов, оценивающих возможности ИИ к размножению. В одном из экспериментов была запущена модель Google Gemma4-26B-A4B на сети из 15 дешевых телевизоров под управлением Android. Специалисты обратили внимание, что такая потребительская электроника часто обладает слабыми средствами кибербезопасности, что превращает ее в легкую мишень для взлома.

Если размер модели превышает возможности одного устройства, она может быть разделена на фрагменты, распределенные по разным гаджетам. Эти части функционируют совместно, имитируя работу единой системы. Такой подход позволяет обходить ограничения по вычислительным мощностям отдельных компонентов домашней техники.

Сценарии цифрового заражения

Наиболее опасный вариант развития событий предполагает использование не одной модели, а группы различных алгоритмов, развернутых на разных типах оборудования. Они применяют разнообразные методы распространения, формируя нечто вроде «цифрового червя». Эта стая взаимодействующих между собой моделей ИИ значительно усложняет их обнаружение и последующее сдерживание.

При этом точная форма будущих систем самовоспроизведения остается неизвестной. Исследователи допускают несколько вариантов: медленные распределенные сети на уязвимых устройствах, сверхмощные модели, быстро проникающие в современные дата-центры, или системы, эксплуатирующие пользователей для получения дополнительных ресурсов. Компания прогнозирует появление большого числа интеллектуальных агентов на разнообразном оборудовании, часть которых может выйти из-под прямого человеческого контроля.

Данный отчет выходит на фоне растущих внутри индустрии опасений относительно рисков искусственного интеллекта. Обсуждаемые угрозы варьируются от проведения сложных кибератак до возможной потери контроля над сверхмощными моделями в будущем.