arXiv cs.CLは2026年10月7日(現地時間)、歴史的文書の光学的文字認識 (OCR: Optical Character Recognition) システム評価に関する論文を発表した。同論文は、従来の文字エラー率 (CER: Character Error Rate) のような標準的な評価指標が、氏名や日付、識別子といった意味のある情報の保持を必ずしも反映しないと指摘。OCRエラーのエンティティレベル分析を新たな評価軸として導入し、OCR品質評価への包括的なアプローチを提案している。
ウルグアイ共和国大学 (UDELAR) のカミロ・マリーニョ (Camilo Mariño) 氏らが発表したこの研究は、歴史的アーカイブのデジタル化にOCRが不可欠である一方で、その評価基準に課題があるという認識から出発している。
研究チームは、公開されているベルッティ・アーカイブ (Berrutti Archive) の175文書からなるベンチマークと、5,209件の手動でアノテーションされたエンティティ言及を用いて実験を実施した。
比較対象となったのは、シーケンス認識OCRシステム、OCRに特化したビジョン・ランゲージ・モデル、および汎用ビジョン・ランゲージ・モデルである。研究では、全体の転写精度に加えて、文字レベルでの編集許容度を変えながらエンティティの保存性と回復可能性を分析した。
実験の結果、OCRシステムのランキングは評価基準によって異なることが示された。Qwen 3.6は全ての許容度において最高のエンティティカバー率を達成したものの、低い厳密一致カバー率を持つ複数のシステムが、小さなエラーが許容されると大幅に回復する傾向が見られた。これは、これらのシステムのエラーが根本的に不正確なエンティティ転写ではなく、局所的な文字レベルの逸脱に起因することを示唆している。
一方で、一部のシステムは許容度を緩和しても多くのエンティティを回復できないままであった。これらの発見は、OCR品質が集合的な転写指標だけで完全に特徴づけられるものではなく、OCRエラーが意味のある情報の保存と回復可能性にどのように影響するかを評価することの重要性を強調している。このアプローチは、歴史的文書のデジタル化プロジェクトにおけるOCRシステムの選択と最適化に新たな視点を提供する。
参考: arXiv cs.CL — 2026年10月27日 13:00 (JST)