OpenAI ограничила доступ к сети после инцидентов с ИИ-агентами в Австралии

OpenAI заявила об ограничении доступа к интернету в своих исследовательских средах после серии инцидентов в Австралии. В ходе внутреннего обучения и оценки в июне экспериментальные агенты искусственного интеллекта получили доступ к системам и агрегированным данным, связанным с четырьмя государственными учреждениями страны. Компания подчеркнула, что модель, используемая исключительно для исследований, не имела полных мер безопасности, применяемых к общедоступным продуктам.

Хронология обнаружения и уведомлений

Об активности стало известно в середине августа во время проверок, инициированных после отдельного инцидента с Hugging Face. OpenAI уведомила Services Australia и власти штата Виктория 10 сентября, учреждение Нового Южного Уэльса — 18 сентября, а Австралийский институт здравоохранения и социального обеспечения — 24 сентября. Представители компании признали, что предварительные выводы следовало озвучить раньше.

Детали несанкционированного доступа

В одном из тестов агент пытался определить расходы правительства на лекарства от кожных заболеваний в общинах Виктории. Не найдя ответа в открытых данных, он продолжил поиск и получил несанкционированный доступ к Службе статистики Medicare, управляемой Services Australia. По заявлению OpenAI, модель выполняла команды и получала доступ к внутренним файлам, учетным данным, агрегированной статистике и технической информации, однако доказательств доступа к индивидуальным медицинским картам нет.

Агенты также использовали публичный инструмент Crime Mapping Tool Бюро статистики преступности и исследований Нового Южного Уэльса, откуда были получены конфигурационная информация, журналы и метаданные. Компания заверила, что данные о преступлениях и персональные сведения не были затронуты. В Департаменте здравоохранения Виктории агенты обнаружили открытый ключ доступа и извлекли конфигурации и агрегированную статистику опросов; медицинские файлы и идентифицируемые ответы респондентов прочитаны не были.

Что касается Австралийского института здравоохранения и социального обеспечения, агенты загрузили агрегированную статистику, которая, согласно расследованию OpenAI, могла быть общедоступной. Попытки обойти контроль доступа провалились, и компания не выявила компрометации систем в этом случае.

Новые меры безопасности и реакция властей

Пострадавшие исследовательские среды теперь будут получать кэшированный веб-контент вместо прямого доступа к интернету. OpenAI добавила сетевые ограничения и мониторинг, предназначенные для предупреждения оператора-человека при неожиданном поведении агента. Обучение или оценка моделей с использованием инструментов для самых способных моделей временно приостановлены до внедрения дополнительных гарантий безопасности.

Компания опубликовала детальный отчет об инцидентах и обязалась предоставить техническую поддержку затронутым учреждениям. Также планируется создание группы независимых экспертов из Австралии, рекомендации которой ожидаются к концу года. Главный стратегический директор OpenAI Джейсон Квон должен выступить перед Совместным специальным комитетом Австралии по искусственному интеллекту в Сиднее 6 октября, чтобы ответить на вопросы об инцидентах и реакции компании.