Искусственный интеллект: между экзистенциальной угрозой и текущими рисками

Алекс Красудомски, ведущий британский исследователь в области цифровых медиа, искусственного интеллекта и коммуникационных технологий, выступил с аналитическим отчётом в рамках программы цифрового общества Института «Чатам-Хаус» — Королевского института международных отношений Великобритании. В документе он прокомментировал недавние тревожные заявления сотрудников и руководителей американских лабораторий ИИ, включая Дарио Амоди, Сэма Олтмана и Илона Маска.

Катастрофический сценарий и «самоусовершенствующееся обучение»

В ходе выходных дней бывшие и действующие сотрудники американских ИИ-лабораторий обнародовали предупреждения о надвигающейся катастрофе. Один из бывших сотрудников заявил, что потеря контроля над развитием ИИ может означать: «Мы все можем умереть в ближайшем будущем». В ответ Дарио Амоди, генеральный директор компании «Anthropic», предложил замедлить темпы разработки ИИ ради обеспечения его безопасности. Этот призыв получил поддержку со стороны других лидеров отрасли.

Красудомски пояснил, что ключевой технический путь к такому сценарию — «рекурсивное самоусовершенствование», метод обучения моделей ИИ, который уже переходит из теоретической стадии в практическое применение, хотя остаётся на ранних этапах. Суть технологии заключается в том, что ИИ сам обучает другие ИИ-системы. Это может вызвать экспоненциальное ускорение развития, ведущее к «точке перегиба», после которой системы ИИ станут способны развиваться автономно, вне человеческого контроля.

Эксперт подчеркнул, что пока неясно, достаточно ли одного этого механизма для создания моделей, угрожающих человеческому господству. Однако стремительный прогресс технологий за последние годы делает полное исключение такого сценария актом безрассудства.

Критика и реальные угрозы

Некоторые из высказанных в выходные утверждений, по мнению специалистов, не имеют прочной эмпирической базы. Так, основатель Национального центра кибербезопасности Великобритании отверг вероятность того, что ИИ-модель сможет полностью парализовать глобальную интернет-инфраструктуру в течение года, назвав это «мысленным экспериментом, представленным как доказательное предупреждение».

В то же время тезис о существовании экзистенциальной угрозы ИИ для человечества в ближайшей перспективе получил широкое освещение в СМИ без сколько-нибудь заметной критики. При этом Красудомски указал, что ряд рисков уже проявляется здесь и сейчас: в ближайшие два года будут развернуты и внедрены ИИ-системы машинного обучения с растущими возможностями, кардинально меняющие экономику, общество, государственное управление, военные операции и образовательные процессы.

Он отметил, что математики уже пережили свою «Ли Сидоль-момент» — состояние тревоги, возникающее, когда машины начинают превосходить человека в задачах, ранее считавшихся исключительно человеческими. Вскоре аналогичный опыт ожидают большинство людей. По его оценке, никто не понимает немедленных последствий ИИ лучше самих компаний, разрабатывающих эти технологии. В недавнем отчёте «Anthropic» прямо указаны случаи злоупотребления её продуктами в шпионаже, кибератаках, дезинформации и разработке вооружений.

Глобальное регулирование и роль третьей стороны

Долгосрочные риски — будь то постепенное снижение роли человека при передаче машинам всё более сложных функций или внезапный кризис — являются потенциальными и требуют внимания. Усилия учёных, таких как Стюарт Рассел, направлены на достижение международного консенсуса по чётким, проверяемым «красным линиям», предотвращающим катастрофические последствия. Без этих усилий будет упущена первая возможность создания обязательной и применимой глобальной системы управления ИИ.

Красудомски подчеркнул критическую важность прозрачности со стороны ИИ-лабораторий. Он одобрил предложение Амоди о создании независимого «третьего лица», интегрированного в структуру лабораторий и наделённого полномочиями, сопоставимыми с полномочиями штатных сотрудников, для оценки мер безопасности. Такой подход давно выдвигался сторонниками регулирования ИИ.

Одностороннее внедрение этой модели «Anthropic» и готовность других лабораторий последовать её примеру — бесспорный шаг вперёд. Однако выбор «третьего лица» должен происходить вне «Силиконовой долины». В качестве наиболее подходящего кандидата Красудомски назвал Британский институт безопасности ИИ. Также рассматриваются национальные модели регулирования, аналогичные Управлению по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), или международные структуры, наподобие Международного агентства по атомной энергии.

Политика, конкуренция и геополитика

Предложение Амоди о координации американских лабораторий ИИ в установлении единых стандартов и совместном замедлении разработок вызвало резкую критику со стороны Дэвида Сакса, бывшего координатора по вопросам ИИ в Белом доме. На платформе X он написал: «Перестаньте притворяться, что антимонопольные законы должны быть приостановлены, чтобы вы могли создать картель, и перестаньте утверждать, что вам нужна процедура получения регуляторных разрешений, выходящая за рамки правил ответственности производителя».

Сакс добавил: «Требование регуляторной рамки, которую вы предпочитаете, рассматриваемое как цена… будет выглядеть как шантаж в отношении общественности и политической системы». Эта позиция отражает опасения, что давление на компании по выполнению финансовых прогнозов может побудить их укреплять конкурентное преимущество за счёт других участников рынка.

Любые инициативы, подрывающие конкуренцию — включая запрет на открытые ИИ-модели, ослабление норм ответственности производителя или запрет на использование уже проверенных безопасных моделей — должны вызывать тревогу. В частности, Великобритании не следует запрещать открытые ИИ-модели или модели с открытыми весами.

США и Китай: необходимость взаимопонимания

Красудомски подчеркнул, что сохранение человеческого контроля над развитием ИИ невозможно без некоего взаимопонимания между двумя ведущими мировыми силами — США и Китаем, возможно, через установление «красных линий», подобных тем, которые предлагает профессор Рассел.

Он отметил, что текущий дискурс, ориентированный преимущественно на сохранение американского превосходства над Китаем, затрудняет достижение соглашения. Амоди утверждает, что демократии должны сохранять своё преимущество перед Пекином, обвиняя Китай в менее строгом подходе к безопасности ИИ. Президент США характеризует ИИ как «игру с нулевой суммой», делая акцент на победе в «гонке ИИ»: «Кто выигрывает в области ИИ — тот выигрывает».

В свою очередь, президент Китая Си Цзиньпин публично заявил о необходимости сохранения человеческого контроля над ИИ. В этом же месяце Китайское управление по делам разведки выпустило своё первое официальное предупреждение о рисках ИИ для национальной безопасности. Однако давление Си Цзиньпина по продвижению китайской концепции управления ИИ в контексте соперничества с Вашингтоном неизбежно усилит ощущение ускорения «гонки вооружений» в этой сфере — что никак не способствует сдерживанию темпов развития.

Красудомски завершил анализ замечанием, что вопрос ИИ будет обсуждаться на встрече Трампа и Си Цзиньпина в Вашингтоне позже в этом месяце, и определённый прогресс в этой сфере не является невозможным. Однако при сохранении доминирующего в обеих странах настроя на превосходство над другой стороной достижение соглашения потребует колоссальных усилий.