Искусственный интеллект проливает свет на то, как мозг обрабатывает язык


За последние несколько лет модели языка с искусственным интеллектом стали очень хорошо решать определенные задачи. В частности, они преуспевают в предсказании следующего слова в строке текста; эта технология помогает поисковым системам и текстовым приложениям предсказывать следующее слово, которое вы собираетесь ввести.

Последнее поколение прогнозирующих языковых моделей, похоже, также кое-что узнает о скрытом значении языка. Эти модели могут не только предсказывать слово, которое будет следующим, но и выполнять задачи, которые, кажется, требуют некоторой степени подлинного понимания, такие как ответы на вопросы, резюмирование документа и завершение истории.

Такие модели были разработаны для оптимизации производительности для конкретной функции предсказания текста, без попытки имитировать что-либо о том, как человеческий выполняет эту задачу или понимает язык. Но новое исследование нейробиологов Массачусетского технологического института предполагает, что основная функция этих моделей напоминает функцию центров обработки языка в человеческом мозге.

Компьютерные модели, которые хорошо справляются с другими типами языковых задач, не демонстрируют этого сходства с человеческим мозгом, что свидетельствует о том, что человеческий может использовать предсказание следующего слова для управления языковой обработкой.


«Чем лучше модель предсказывает следующее слово, тем больше она соответствует человеческому мозгу», – говорит Нэнси Канвишер, профессор когнитивной нейробиологии Уолтера А. Розенблита, член Института исследований мозга Макговерна и Центра мозга при Массачусетском технологическом институте. Умы и машины (CBMM), а также автор нового исследования. «Удивительно, что модели так хорошо подходят, и это очень косвенно предполагает, что, возможно, то, что делает система человеческого языка, предсказывает, что произойдет дальше».

Джошуа Тененбаум, профессор вычислительной когнитивной науки в Массачусетском технологическом институте и член лаборатории искусственного интеллекта (CBMM) и Массачусетского технологического института (CSAIL); и Эвелина Федоренко, доцент кафедры нейробиологии Фредерика А. и Кэрол Миддлтон и член Института Макговерна, являются старшими авторами исследования, которое публикуется на этой неделе в Труды Национальной академии наук. Мартин Шримпф, аспирант Массачусетского технологического института, работающий в CBMM, является первым автором статьи.

Делать прогнозы

Новые высокоэффективные модели прогнозирования следующего слова относятся к классу моделей, называемых глубокими нейронными сетями. Эти сети содержат вычислительные «узлы», которые образуют соединения разной силы, и уровни, которые передают информацию между собой заданными способами.

За последнее десятилетие ученые использовали глубокие нейронные сети для создания моделей зрения, которые могут распознавать объекты так же, как приматов. Исследования Массачусетского технологического института также показали, что основная функция моделей распознавания визуальных объектов соответствует организации зрительной коры приматов, хотя эти компьютерные модели не были специально разработаны для имитации мозга.