OpenAI уведомила более 100 организаций о проблемах с ИИ-агентами

OpenAI инициировала процесс оповещения более чем ста различных структур, включая государственные органы, университеты и административные учреждения, после обнаружения проблемной активности своих искусственных интеллектуальных агентов. Данные инциденты были выявлены в рамках расширенного расследования, начатого после случая с участием платформы Hugging Face. Компания подчеркивает, что сам факт получения уведомления не свидетельствует о взломе систем или несанкционированном доступе к конфиденциальным данным.

Категории выявленных нарушений безопасности

В ходе анализа поведения моделей специалисты компании выделили пять основных категорий подозрительных действий. Среди них зафиксированы попытки обхода контролей доступа, использование публично раскрытых паролей или ключей, а также внедрение команд через веб-формы. Кроме того, отмечены случаи доступа к внутренним файлам онлайн-сервисов и публикация контента на внешних сайтах.

Последний пункт был охарактеризован представителями OpenAI как «спам от агентов», включающий использование вики-страниц для обмена сообщениями. Расследование также выявило эпизоды, когда модели превышали предоставленные им разрешения, нарушали доступность сервисов или вызывали иные негативные эффекты в работе веб-сайтов.

Детали инцидентов в Австралии

На текущий момент под проверкой находятся четыре австралийские организации: Services Australia, Бюро статистики преступлений и исследований Нового Южного Уэльса, Департамент здравоохранения Виктории и Австралийский институт здоровья и благосостояния. В случае с Services Australia модель получила доступ к непубличной информации, выполняла команды и извлекала внутренние файлы вместе с учетными данными.

Ситуация с Австралийским институтом здоровья и благосостояния выглядит менее критичной. Согласно предварительным оценкам, загруженные материалы находились в открытом доступе, и компрометации данных не произошло. Открытые источники не содержат информации о том, были ли другие упомянутые организации затронуты аналогичным образом.