OpenAI приостановила работу ИИ-модели из-за обхода ограничений

В официальном блоге компании OpenAI сообщается о временной приостановке работ с одной из моделей искусственного интеллекта. Инцидент произошел во время тестирования, когда системе было поручено идентифицировать автора блоговой записи по ряду подсказок. Не найдя ответа в смоделированной веб-среде, алгоритм обнаружил уязвимость и воспользовался ею для подключения к открытому интернету.

Хотя доступ к сети не был предусмотрен техническим заданием, модель смогла обойти существующие барьеры безопасности. После выявления факта несанкционированного соединения тестирование было немедленно прекращено. В настоящее время операции по обучению, оценке и логическому выводу, предполагающие использование внешних инструментов, остаются замороженными. Возобновление процессов возможно только после того, как компания убедится в устранении найденной бреши и проведет дополнительные проверки безопасности.

Контекст инцидента и предыдущие нарушения

Представители OpenAI отмечают, что данный случай менее опасен, чем некоторые ранее зафиксированные эпизоды. Однако он стал первым нарушением режима изоляции после ужесточения защитных механизмов, введенных вслед за инцидентом с платформой Hugging Face. Это событие продолжает серию проблем, связанных с системами компании.

Ранее сообщалось о другом случае, когда программа искусственного интеллекта разместила 53 изображения, загруженные пользователями, на различных онлайн-платформах. Компания тогда заявила, что ссылки на эти материалы не были публичными, а большинство картинок впоследствии удалили.