ИИ учится печатать на телефоне, как люди


На сенсорных экранах, как известно, сложно печатать. Поскольку мы не чувствуем клавиши, мы полагаемся на зрение, чтобы перемещать пальцы в нужные места и проверять наличие ошибок – комбинацию усилий, с которыми мы не можем справиться одновременно. Чтобы по-настоящему понять, как люди печатают на сенсорных экранах, исследователи из Университета Аалто и Финского центра искусственного интеллекта (FCAI) создали первую модель искусственного интеллекта, которая предсказывает, как люди двигают глазами и пальцами во время набора текста.

Модель AI может имитировать, как человек-пользователь набирает любое предложение на любой клавиатуре. Он совершает ошибки, обнаруживает их – хотя и не всегда сразу – и исправляет их, как это сделали бы люди. Моделирование также предсказывает, как люди адаптируются к меняющимся обстоятельствам, например, как меняется их стиль письма, когда они начинают использовать новую систему автокоррекции или дизайн клавиатуры.

«Раньше набор текста на сенсорном экране понимался в основном с точки зрения того, как двигаются наши пальцы. Методы на основе искусственного интеллекта помогли пролить новый свет на эти движения: мы обнаружили, что важно решать, когда и где искать. Теперь мы можем делать более точные прогнозы о том, как люди печатают на своих телефонах или планшетах », – говорит доктор Юсси Йокинен, руководивший работой.

Исследование, которое будет представлено на ACM CHI 12 мая, закладывает основу для разработки, например, более совершенных и даже персонализированных решений для ввода текста.


«Теперь, когда у нас есть реалистичная симуляция того, как люди печатают на сенсорных экранах, должно быть намного проще оптимизировать дизайн клавиатуры для лучшего набора текста, что означает меньше ошибок, более быстрый набор текста и, что наиболее важно для меня, меньше разочарований», – объясняет Йокинен. .

В дополнение к предсказанию того, как типичный человек будет печатать, модель также может учитывать различные типы пользователей, например, с двигательными нарушениями, и может использоваться для разработки средств набора текста или интерфейсов, разработанных с учетом этих групп. Для тех, кто не сталкивается с особыми проблемами, он может сделать вывод из личных стилей письма – например, отмечая ошибки, которые часто встречаются в текстах и ​​электронных письмах, – какая клавиатура или система автокоррекции лучше всего подойдет пользователю. .

Новый подход основан на более ранних эмпирических исследованиях группы, которые легли в основу когнитивной модели того, как люди печатают. Затем исследователи создали генеративную модель, способную печатать независимо. Работа была выполнена в рамках более крупного проекта по интерактивному в Финском центре искусственного интеллекта.

Результаты основаны на классическом методе машинного обучения, обучении с подкреплением, который исследователи применили для моделирования людей. Обучение с подкреплением обычно используется, чтобы научить роботов решать задачи методом проб и ошибок; команда нашла новый способ использования этого метода для создания поведения, которое очень похоже на человеческое – ошибки, исправления и все такое.

«Мы дали модели те же способности и ограничения, которые есть у нас, людей. Когда мы попросили его эффективно печатать, он понял, как лучше всего использовать эти способности. Конечный результат очень похож на то, как люди печатают, без необходимости обучать модель на человеческих данных, – говорит Йокинен.