arXiv、文書解析評価の新ベンチマーク「ParseBench-2」を発表 –– エラー深刻度を反映
arXivは11月12日(現地時間)、文書解析の精度評価においてエラーの深刻度を反映する新手法を導入したベンチマーク「ParseBench-2」を発表した。このベンチマークは、文書から重要事実が変更された場合には高いペナルティを課す一方で、意味を保持する軽微な変更には寛容な評価を可能にする。4,317ページにわたる多岐にわたる文書を対象に、テキスト、フォーマット、テーブル、チャート、視覚的グラウンディング、フォームの六つの品質次元で解析能力を評価する。