Исследования безопасности взаимодействия систем искусственного интеллекта

С развитием технологий искусственного интеллекта (ИИ) возрастает необходимость изучения поведения не отдельных моделей, а групп агентов, которые взаимодействуют, конкурируют и сотрудничают друг с другом. Такой подход перестаёт быть теоретическим и становится актуальным для практических применений, включая системы бронирования, торговые платформы, кибербезопасность, управление складами и робототехнику, где одновременно функционирует несколько интеллектуальных агентов.

Компания Google DeepMind совместно с Schmidt Sciences, Cooperative AI Foundation, ARIA и при поддержке Google.org объявила о запуске исследовательской инициативы с финансированием до 10 миллионов долларов. Цель проекта — изучить безопасность систем ИИ с множественными агентами, сосредоточив внимание на анализе поведения моделей при их взаимодействии, в отличие от традиционного подхода, ориентированного на безопасность отдельного агента.

Идея многократного агента сравнивается с городом, где множество водителей одновременно управляют транспортом. Важно не только мастерство каждого водителя по отдельности, но и понимание того, как они взаимодействуют: сотрудничают ли, соревнуются ли опасным образом, придерживаются ли одинаковых правил и могут ли возникать непредсказуемые модели поведения в результате их совместной деятельности. Это и есть суть исследований в области многократного искусственного интеллекта.

Под многократными агентами понимаются несколько интеллектуальных систем, выполняющих независимые или частично независимые задачи в единой среде. Они могут вести переговоры, распределять задачи или осуществлять взаимный контроль. При этом сотрудничество может приносить пользу, но одновременно порождать сложные и трудно прогнозируемые формы поведения.

Исследования в этом направлении активизировались из-за быстрого внедрения многократных агентов в повседневные инструменты работы. С увеличением масштабов использования безопасность становится приоритетом, важнее предупреждать ошибки, чем исправлять последствия. Практические шаги организаций для обеспечения безопасности включают:

• тестирование агентов в изолированных средах;
• установление чётких полномочий;
• регистрацию принимаемых решений;
• введение человеческого контроля;
• ограничение доступа агентов к конфиденциальным данным без соответствующих мер контроля.