Исследователи используют ИИ, чтобы раскрыть секреты древних текстов

Библиотека аббатства Санкт-Галла в Швейцарии хранит около 160 000 томов литературных и исторических рукописей, относящихся к восьмому веку, и все они написаны от руки на пергаменте на языках, на которых редко говорят в наше время.


Чтобы сохранить эти исторические отчеты о человечестве, такие тексты, исчисляемые миллионами, надежно хранятся в библиотеках и монастырях по всему миру. Значительная часть этих коллекций доступна широкой публике через цифровые изображения, но эксперты говорят, что существует огромное количество материала, который никогда не читался, – сокровищница понимания мировой истории, спрятанная внутри.

Теперь исследователи из Университета Нотр-Дам разрабатывают искусственную нейронную сеть для чтения сложного древнего почерка, основанного на человеческом восприятии, чтобы улучшить возможности транскрипции глубокого обучения.

«Мы имеем дело с историческими документами, написанными в стилях, которые давно вышли из моды, уходящие в прошлое, и на таких языках, как латынь, которые сейчас редко используются», – сказал Уолтер Шайрер, доцент кафедры Денниса О. Даути. в Департаменте компьютерных наук и инженерии в Нотр-Дам. «Вы можете получить красивые фотографии этих материалов, но мы решили автоматизировать транскрипцию таким образом, чтобы имитировать восприятие страницы глазами опытного читателя и обеспечить быстрое чтение текста с возможностью поиска. “

В исследовании, опубликованном в журнале Института инженеров по электротехнике и радиоэлектронике. Транзакции по анализу шаблонов и машинному анализуШайрер описывает, как его команда объединила традиционные методы машинного обучения с визуальной психофизикой – методом измерения связи между физическими стимулами и психическими явлениями, например, количество времени, которое требуется опытному читателю, чтобы распознать конкретного персонажа, измерить качество почерка или выявление использования определенных сокращений.

Команда Шайрера изучила оцифрованные латинские рукописи, написанные писцами монастыря Святого Галла в девятом веке. Читатели вводили свои ручные расшифровки в специально разработанный программный интерфейс. Затем команда измерила время реакции во время транскрипции, чтобы понять, какие слова, символы и отрывки были легкими или трудными. Шайрер объяснил, что включение такого рода данных создало сеть, более соответствующую поведению человека, уменьшило количество ошибок и обеспечило более точное и реалистичное чтение текста.

«Эта стратегия обычно не используется в машинном обучении», – сказал Шайрер. «Мы маркируем данные с помощью этих психофизических измерений, которые поступают непосредственно из психологических исследований восприятия – путем проведения поведенческих измерений. Затем мы информируем сеть об общих трудностях в восприятии этих персонажей и можем вносить исправления на основе этих измерений. “

Использование глубокого обучения для расшифровки древних текстов представляет большой интерес для ученых-гуманитариев.

«Есть разница между простым фотографированием и чтением, а также программой, обеспечивающей чтение с возможностью поиска», – сказала Хильдегунд Мюллер, доцент кафедры классической литературы Нотр-Дама. «Если вы рассматриваете тексты, использованные в этом исследовании – рукописи IX века – это ранняя стадия средневековья. До печатного станка прошло много времени. Это время, когда было создано огромное количество рукописей. всевозможная информация, скрытая в этих рукописях – неопознанные тексты, которые никто раньше не видел ».