Один исследователь, двадцать две тысячи страниц, инструмент, который сначала создавался для себя

Двадцать лет исследовательских поездок в пять архивов, в Европе и в Америке: коробки с деловой перепиской, технические периодические издания 1920-х годов, сфотографированные с рук, криво, тысячами. Двадцать две тысячи снимков, из которых лишь часть была разобрана — вручную, страница за страницей, на немецком языке.

Инструмент был создан для этого фонда. Каждое правило — это урок, оплаченный на этих страницах: направление чтения, которое метаданные камеры определяют неверно в одном случае из трёх; рукопись, которую нужно доверить усиленному перечитыванию, чтобы ограничить выдуманные слова; шифр, который приходится идти и читать внизу страницы, потому что его никто не вносит; оригинал, который ни в коем случае нельзя пересжимать. То, что работает на двадцати двух тысячах страниц, должно работать и на Ваших.

wondarchive — это онлайн-сервис, который транскрибирует, переводит и индексирует фотографии архивных документов, сделанные в читальном зале, для историков, аспирантов, архивистов и генеалогов.

Он размещён во Франции, в OVHcloud, и загруженные туда документы никогда не обучают никакую модель — это было условием того, чтобы хранить там и архивы других исследователей, а не только собственные.

На плечах исследователей

Автоматическое чтение рукописного текста (его называют HTR, от handwritten text recognition) — область исследований, которой больше тридцати лет. Без неё wondarchive не существовал бы.

Первые крупные размеченные базы рукописного письма, например IAM при Бернском университете, позволили измерять успехи. В конце 2000-х Алекс Грейвс, Юрген Шмидхубер и их коллеги показали, что нейронная сеть способна прочитать целую рукописную строку, не разбивая её на буквы: многие нынешние движки восходят к этой идее.

Для архивов европейские проекты tranScriptorium (2013–2015), а затем READ (2016–2019), которые велись вокруг Инсбрукского университета, породили Transkribus, который с 2019 года поддерживает кооператив READ-COOP. Во Франции École pratique des hautes études развивает eScriptorium и его движок Kraken, свободные и открытые. В Германии программа OCR-D оснащает библиотеки, которые оцифровывают старые печатные издания. HTR-United учитывает расшифровки, которыми делятся команды, чтобы обучать модели: без такого обмена большая часть старых почерков осталась бы нечитаемой для машины.

Эти инструменты остаются эталоном для тех, кто хочет обучить собственную модель или подготовить научное издание. wondarchive идёт другим, более скромным путём: быстро читать фотографии исследователя, без настроек, чтобы он находил в своём фонде то, что ищет.