Meta представила ИИ-систему для перевода мозговой активности в текст

Компания Meta объявила о разработке новой системы искусственного интеллекта Brain2Qwerty v2, которая способна декодировать мозговую активность и преобразовывать её в текст. Эта технология может существенно изменить жизнь миллионов людей с параличом и нарушениями речи.

Новая система, представленная в понедельник, функционирует как примитивный аналог "чтения мыслей" с помощью алгоритмов. Несмотря на то, что исследование находится на ранних этапах, оно открывает перспективы для пациентов с такими состояниями, как афазия, синдром запертого человека, боковой амиотрофический склероз и иные неврологические заболевания, вызывающие паралич. Им станет возможна коммуникация посредством мыслей без необходимости сложных и дорогостоящих хирургических имплантов.

В объявлении Meta подчеркивается: "Мы считаем, что это исследование способно принести реальную пользу миллионам людей с повреждениями мозга, которые лишены возможности общаться". Для ускорения научных открытий в нейронауках компания предоставила исходный код текущей и предыдущей версий системы бесплатно в открытый доступ, чтобы исследователи по всему миру могли использовать и развивать эту технологию.

В рамках обучения модели исследователи сотрудничали с Базкским центром когнитивных наук и языка в Сан-Себастьяне, Испания. В экспериментах участвовали девять здоровых добровольцев в возрасте от 25 до 56 лет, которые в течение десяти сессий написали более 2500 предложений.

Во время сессий активность мозга испытуемых регистрировалась с помощью магнитно-энцефалографии (MEG) — метода измерения электрических полей, создаваемых нейронной активностью. Записанные предложения и данные MEG использовались в качестве обучающих данных для системы.

Brain2Qwerty v2 достигла точности распознавания слов на уровне 78%, что означает, что более половины декодированных предложений содержали не более одной языковой ошибки. Это значительное улучшение по сравнению с версией v1, которая обеспечивала точность около 48%. Исследователи отметили, что увеличение объема обучающих данных способствует повышению точности, что свидетельствует о потенциале дальнейшего развития технологии.

Авторы исследования отметили: "Если расширенное обучение на данных MEG позволит полностью отказаться от нейрохирургического вмешательства, это станет революционным прорывом в уходе за пациентами".

Система использует методы распознавания образов, аналогичные тем, что применяются в популярных чат-ботах, таких как ChatGPT и Llama от Meta. Процесс декодирования разделён на три этапа:

• Первый этап — перевод мозговых волн в отдельные символы с помощью ИИ.
• Второй этап — объединение символов в слова другим ИИ-модулем.
• Третий этап — использование крупной языковой модели для преобразования набора слов в связные и понятные предложения.

Это первый случай успешного применения крупной языковой модели для преобразования шумной мозговой активности в структурированные предложения, что создает ценный пример для будущих исследований в области интерфейсов мозг-машина.

Кроме того, Brain2Qwerty использует группу "агентов искусственного интеллекта", которые самостоятельно оптимизируют процесс декодирования, повышая точность и эффективность. Эти агенты обучены регулярно изменять программный код для создания новых и улучшенных архитектур, что значительно снижает уровень ошибок на уровне слов.