Техника, основанная на искусственном интеллекте (ИИ), может переводить сканирование мозга в слова и предложения, сообщает команда вычислительных нейробиологов. Исследователи говорят, что хотя на ранних стадиях и далеки от совершенства, новая технология может в конечном итоге помочь людям с черепно-мозговыми травмами или параличом восстановить способность общаться.
Исследование «показывает, что, используя правильные методы и лучшие модели, мы действительно можем расшифровать мысли испытуемого», — говорит Мартин Шримпф, вычислительный нейробиолог из Массачусетского технологического института, не участвовавший в работе.
Другие исследовательские группы создали интерфейсы мозг-компьютер (BCI), чтобы, например, перевести мозговую активность парализованного пациента в слова. Однако большинство из этих подходов полагаются на электроды, имплантированные в мозг пациента. Неинвазивные методы, основанные на таких методах, как электроэнцефалограмма (ЭЭГ), которая измеряет активность мозга с помощью электродов, прикрепленных к коже головы, оказались менее успешными. По словам Шримпфа, BCI, основанные на ЭЭГ, до сих пор могли расшифровывать только фразы и не могли реконструировать связный язык. Предыдущие BCI также обычно фокусировались на людях, пытающихся говорить или думающих о том, чтобы говорить, поэтому они полагались на области мозга, участвующие в создании движений, связанных с речью, и работали только тогда, когда человек двигался или пытался двигаться.
Теперь Александр Хут, вычислительный нейробиолог из Техасского университета в Остине, и его коллеги разработали BCI на основе функциональной магнитно-резонансной томографии (фМРТ), которая более непосредственно подключается к областям мозга, отвечающим за язык, для расшифровки воображаемой речи. Этот неинвазивный метод, обычно используемый в исследованиях в области неврологии, отслеживает изменения кровотока в мозге для измерения нервной активности.
Как и во всех НКИ, цель состояла в том, чтобы связать каждое слово, фразу или предложение с определенным паттерном мозговой активности, который они вызывают. Чтобы собрать необходимые данные, исследователи просканировали мозг трех участников, в то время как каждый из них прослушал около 16 часов подкастов с рассказыванием историй, таких как Час радио Мотылька и Нью-Йорк Таймсх Современная любовь. Используя эти данные, исследователи создали набор карт для каждого субъекта, которые указывали, как мозг человека реагирует, когда он слышит определенное слово, фразу или значение. По словам Хута, поскольку для записи мозговой активности фМРТ требуется несколько секунд, она улавливает не каждое конкретное слово, а скорее общую идею каждой фразы и предложения. Его команда использовала данные фМРТ, чтобы обучить ИИ предсказывать, как мозг определенного человека будет реагировать на язык.
Первоначально система изо всех сил пыталась превратить сканирование мозга в язык. Но затем исследователи также включили модель естественного языка GPT, чтобы предсказать, какое слово может идти после другого. Используя карты, созданные на основе сканирования, и языковую модель, они просмотрели различные возможные фразы и предложения, чтобы увидеть, соответствует ли прогнозируемая активность мозга реальной активности мозга. Если это так, они сохраняли эту фразу и переходили к следующей.
После этого испытуемые слушали подкасты, не использованные в обучении. И мало-помалу система производила слова, фразы и предложения, в конечном итоге создавая идеи, которые точно соответствовали тому, что человек слышал. Технология была особенно хороша для понимания сути истории, даже если она не всегда правильно понимала каждое слово.
Это также работало, когда субъект рассказывал историю или видел видео. В одном эксперименте участники смотрели фильм без звука, пока система пыталась расшифровать их мысли. Когда человек смотрел анимационный фильм, в котором дракон сбивает кого-то с ног, система выдавала: «Он сбивает меня с ног». Все это произошло без приглашения участников высказаться. «Это действительно демонстрирует, что мы здесь имеем дело с чем-то более глубоким, чем просто язык», — говорит Хут. “[The system] работает на уровне идей».
Система может когда-нибудь помочь людям, которые потеряли способность общаться из-за черепно-мозговой травмы, инсульта или синдрома запертости, типа паралича, при котором люди находятся в сознании, но парализованы. Однако для этого потребуется не только совершенствовать технологию, используя больше обучающих данных, но и делать ее более доступной. Основанная на фМРТ система делает ее дорогой и громоздкой в использовании, но Хут говорит, что цель команды состоит в том, чтобы сделать это с помощью более простых и портативных методов визуализации, таких как ЭЭГ.
Хотя это далеко не способно расшифровывать спонтанные мысли в реальном мире, прогресс вызывает опасения, что с улучшением технология может имитировать некоторый тип чтения мыслей. «Наша мысль, когда мы на самом деле работали над этим, была: «Боже мой, это что-то ужасное», — вспоминает Хут. Чтобы начать решать эти проблемы, авторы проверили, будет ли декодер, обученный на одном человеке, работать на другом — это не сработало. Согласие и сотрудничество также оказались критически важными, потому что, если люди сопротивлялись, выполняя такую задачу, как счет вместо того, чтобы обращать внимание на подкаст, система не могла декодировать какое-либо значение их мозговой активности.
Несмотря на это, конфиденциальность по-прежнему является большой этической проблемой для этого типа нейротехнологий, говорит Нита Фарахани, биоэтик из Университета Дьюка. Исследователи должны заранее изучить последствия своей работы и разработать меры защиты от неправомерного использования. «Нам нужно, чтобы все участвовали в обеспечении того, чтобы это происходило с соблюдением этических норм», — говорит она. “[The technology] может быть действительно трансформационным для людей, которым нужна возможность снова общаться, но последствия для остальных из нас огромны».