Исследование: советы ИИ-ботов в медицине опасны и не контролируются

Эксперты из нескольких ведущих университетов опубликовали в журнале «Nature Health» результаты исследования, предупреждающие об опасности полагаться на генеративный искусственный интеллект при получении медицинских советов. Ключевой проблемой авторы называют не только вероятность получения неточной информации, но и сложность выявления таких ошибок врачами или регулирующими органами из-за закрытости диалогов между пользователями и алгоритмами.

Сложность мониторинга врачебных рекомендаций

В работе приняли участие исследователи из Бингемтонского университета, Стэнфордского университета, Техасского A&M и Индианского университета. Они указывают, что традиционные медицинские консультации фиксируются в электронных картах пациентов, а побочные эффекты лекарств регистрируются через специальные системы. В случае с чат-ботами такие механизмы отсутствуют: переписка остается внутри платформы, что лишает специалистов возможности анализировать частоту и характер ошибок.

Авторы подчеркивают, что проблема выходит за рамки прямых запросов пользователей. Люди могут сталкиваться с дезинформирующим медицинским контентом косвенно — через автоматические саммари в поисковых системах или посты в социальных сетях, сгенерированные нейросетями. Отсутствие прозрачности делает оценку рисков для общественного здоровья крайне затруднительной.

Клинический случай отравления бромидом натрия

Для иллюстрации потенциальной угрозы исследователи приводят пример 60-летнего мужчины, который обратился к чат-боту ChatGPT за советом по снижению потребления хлорида натрия в рационе. Алгоритм предложил заменить обычную соль на бромид натрия. После следования этой рекомендации пациент поступил в больницу с диагнозом бромизм (отравление бромидами), сопровождавшимся галлюцинациями и параноидальными состояниями.

Медики столкнулись с трудностями при установлении источника ошибки, так как точный текст полученного совета был недоступен для анализа вне интерфейса сервиса. Этот случай демонстрирует, как отсутствие эффективных инструментов аудита взаимодействий с ИИ препятствует своевременному выявлению вреда для здоровья пользователей.

Призыв к расширению ответственности разработчиков

Исследователи предлагают комплекс мер для минимизации рисков, включая обеспечение доступа пользователей к истории их диалогов с ботами и создание систем автоматического обнаружения опасных медицинских инструкций. Эти инструменты помогут лучше понимать природу ошибок и их последствия.

Также авторы призывают законодателей рассмотреть возможность расширения юридической ответственности компаний, разрабатывающих ИИ-сервисы, предоставляющие медицинские рекомендации. По их мнению, уровень подотчетности должен соответствовать степени потенциального риска для здоровья граждан. В заключении отмечается, что уверенный тон ответов нейросетей не гарантирует их корректность, поэтому решения о диагностике, лечении или изменении диеты должны приниматься исключительно совместно с квалифицированными врачами.