Meta 29 июня представила Brain2Qwerty v2 — исследовательскую систему, которая декодирует набираемые человеком предложения из непрерывных записей активности мозга, полученных с помощью магнитоэнцефалографии. Согласно официальному сообщению Meta, средняя точность распознавания слов в эксперименте составила 61%, а у наиболее успешного участника достигла 78%.
Система не читает произвольные или скрытые мысли. В эксперименте здоровые добровольцы сначала слышали подготовленные предложения, затем после паузы набирали их на клавиатуре внутри МЭГ-сканера. Brain2Qwerty v2 анализировала активность мозга именно во время этого контролируемого набора текста.
Как проходило исследование Brain2Qwerty v2
В препринте Brain2Qwerty v2 говорится, что исследователи собрали около 22 тысяч предложений от девяти здоровых участников. Каждый доброволец провёл примерно десять часов в МЭГ-устройстве, а общий объём записей составил около 90 часов.
Магнитоэнцефалография не требует хирургического вмешательства: датчики снаружи головы измеряют слабые магнитные поля, возникающие при работе нейронов. В отличие от первой версии, которой требовалось точное время каждого нажатия клавиши, новая система обрабатывает непрерывный сигнал и предназначена для генерации предложений в режиме, близком к реальному времени.
Как система преобразует сигналы в текст
Архитектура объединяет три модуля. Первый выделяет из непрерывных МЭГ-записей признаки, связанные с символами и нажатиями клавиш. Второй сопоставляет фрагменты нейронного сигнала с представлениями слов. Затем дообученная большая языковая модель формирует итоговое предложение, используя одновременно предварительно распознанные символы и данные, полученные из МЭГ.
Авторы также использовали ИИ-агентов для поиска улучшений в программном коде системы. В сообщении Meta уточняется, что окончательные конфигурации выбирали инженеры, а не автономная система.
Что означают показатели 61% и 78%
В препринте средний показатель ошибок по словам, или WER, равен 39%. В пересчёте это соответствует 61% правильно распознанных слов. У лучшего участника точность достигла 78%; Meta сообщает, что более половины его предложений были восстановлены не более чем с одной ошибкой в слове.
Эти цифры относятся к девяти участникам и конкретному экспериментальному протоколу. Как и в случае с другими сравнениями ИИ-систем по отдельным тестам, результат нельзя автоматически переносить на все задачи или считать подтверждением практической готовности технологии.
Языковая модель может создавать связные, но неверные фразы
Дообученная языковая модель помогает восстанавливать связные предложения из зашумлённых данных, но создаёт отдельный риск. Авторы препринта отмечают, что при недостаточном качестве сигнала система иногда генерировала грамматически правильную фразу, которая существенно отличалась от исходного предложения. Для медицинского интерфейса связи такая ошибка имеет принципиальное значение.
Чем v2 отличается от опубликованной в Nature первой версии
Одновременно с анонсом v2 журнал Nature Neuroscience опубликовал рецензируемое исследование первой Brain2Qwerty. В нём участвовали 35 здоровых добровольцев, а система распознавала отдельные символы по данным МЭГ и ЭЭГ. Финальная статья указывает среднюю частоту ошибок по символам 29% для МЭГ и 65% для ЭЭГ; у лучших участников с МЭГ показатель снижался до 18%.
Показатели первой и второй версий нельзя напрямую сопоставлять: в Nature измеряется частота ошибок по символам, тогда как основной результат v2 представлен как точность на уровне слов. Кроме того, v2 пока опубликована как препринт и ещё не прошла отдельное журнальное рецензирование.
До клинического применения остаются ограничения
Brain2Qwerty v2 тестировали на здоровых людях, а не на пациентах, утративших способность говорить или двигаться. Разработчики признают, что точности пока недостаточно для повседневного общения. Кроме того, использованный МЭГ-сканер остаётся крупным и дорогим оборудованием, недоступным большинству клиник и пациентов.
Meta рассматривает работу как возможное направление для будущих неинвазивных интерфейсов мозг–компьютер. Однако опубликованные результаты не подтверждают существование готового медицинского устройства. Аналогичное разграничение между экспериментом и практической диагностикой важно и при оценке других систем ИИ для анализа данных мозга.
Код открыт, данные v2 пока недоступны
Meta опубликовала код обучения Brain2Qwerty v1 и v2 на GitHub. Баскский центр когнитивных наук, мозга и языка разместил датасет первой версии на Hugging Face. Набор данных v2, согласно странице проекта, останется под эмбарго до принятия научной статьи.
Источники: Meta AI, официальная страница Brain2Qwerty, препринт v2, Nature Neuroscience, GitHub.
Изображение создано искусственным интеллектом для Cifrum.kz и носит концептуальный характер. Оно не показывает реальное оборудование Meta или клиническую процедуру.
Комментарии к статье