В то время как современные системы машинного обучения действуют как искусственный интеллект, правда в том, что они не «понимают» никакие данные, с которыми работают, – что, в свою очередь, означает, что они склонны хранить даже тривиальные элементы вечно. Исследователи Facebook предложили структурную забывчивость как способ для ИИ немного очистить колоды, улучшить их производительность и приблизиться к тому, как работает человеческий разум.
Исследователи описывают проблему, объясняя, как люди и агенты ИИ могут подойти к аналогичной проблеме.
Скажем, есть десять дверей разных цветов. Вас просят пройти через желтую, вы делаете это, а затем через несколько минут забываете цвета других дверей – потому что никогда не было важно, чтобы две были красными, одна клетчатая, две ореховые и т. Д., Только чтобы они не были желтыми, а тот, который вы выбрали, был. Ваш мозг почти сразу отбросил эту информацию.
Но ИИ вполне мог сохранить в памяти цвета и расположение других девяти дверей. Это потому, что он не понимает проблему или данные интуитивно – поэтому он сохраняет всю информацию, которую использовал для принятия решения.
Это не проблема, когда вы говорите об относительно небольших объемах данных, но алгоритмы машинного обучения, особенно во время обучения, теперь обычно обрабатывают миллионы точек данных и получают терабайты изображений или языка. А поскольку они созданы, чтобы постоянно сравнивать новые данные с накопленными знаниями, то, что они не могут забыть несущественные вещи, они увязли в постоянных ссылках на бессмысленные или устаревшие данные.
Решение, предложенное исследователями Facebook, по сути – и не хотелось бы всем нам иметь такую возможность – сказать самому себе, сколько времени ему нужно запомнить фрагмент данных, когда он оценивает его с самого начала.
Кредиты изображений: Facebook
«Каждое отдельное воспоминание связано с прогнозируемой датой истечения срока действия, а масштаб памяти зависит от задачи», – пояснила Анджела Фан, исследователь искусственного интеллекта Facebook, работавшая над статьей Expire-Span. «Количество времени, в течение которого хранятся воспоминания, зависит от потребностей задачи – это может быть несколько шагов или до тех пор, пока задача не будет завершена».
Таким образом, в случае дверей, цвета не-желтых дверей очень важны, пока вы не найдете желтую. В этот момент можно безопасно забыть об остальном, хотя, конечно, в зависимости от того, сколько других дверей необходимо проверить, память может храниться на разное время. (Более реалистичным примером может быть забвение лиц, которые не те, которые ищет система, как только она их обнаружит.)
Анализируя длинный фрагмент текста, запоминание определенных слов или фраз может иметь значение до конца предложения, абзаца или дольше – это зависит от того, пытается ли агент определить, кто говорит, к какой главе относится предложение или какой жанр рассказ.
Это улучшает производительность, потому что в конце модели просто остается меньше информации для сортировки. Поскольку система не знает, могут ли быть важны другие двери, эта информация всегда под рукой, увеличивая размер и уменьшая скорость модели.
Фан сказал, что модели, обученные с использованием Expire-Span, работали лучше и были более эффективными, занимая меньше памяти и время вычислений. Это важно во время обучения и тестирования, которые могут занять тысячи часов обработки, а это означает, что даже небольшое улучшение будет значительным, но также и на уровне конечного пользователя, где та же задача требует меньше энергии и выполняется быстрее. Внезапно выполнение операции на фото имеет смысл делать вживую, а не постфактум.
Хотя способность забывать в некотором роде приближает процессы ИИ к человеческому познанию, она все еще далека от интуитивных и тонких способов работы нашего разума. Конечно, возможность выбрать, что запомнить и как долго, является большим преимуществом перед теми из нас, для кого эти параметры выбираются случайно.