arXivは11月12日(現地時間)、文書解析の精度評価においてエラーの深刻度を反映する新手法を導入したベンチマーク「ParseBench-2」を発表した。このベンチマークは、文書から重要事実が変更された場合には高いペナルティを課す一方で、意味を保持する軽微な変更には寛容な評価を可能にする。4,317ページにわたる多岐にわたる文書を対象に、テキスト、フォーマット、テーブル、チャート、視覚的グラウンディング、フォームの六つの品質次元で解析能力を評価する。
「ParseBench-2」は、各エラータイプが最終スコアにどう影響すべきかを定める「深刻度ポリシー」に基づき、文書解析評価指標を開発する手法を導入している。これらのポリシーは、指標がどのように振る舞うべきかを具体的に指定する厳密なテストシナリオを通じて表現される。
最適化された指標の実装は、比較ルール、エラー検出器、重み付けパラメータを、人間のレビューのもとで洗練させるコーディングエージェントを利用して行われる。これにより、指標設計の明確な目的として、人間が重視する優先事項や専門家の判断がより直接的に反映される。詳細にアノテーションされたデータセットと、意図的に設定された困難なケースを用いることで、事実の変更、構造的関係の破損、コンテンツの欠落といった重大なエラーを厳密にチェックする。
本評価の最終的な指標は、コンテンツ回復度を測る解析スコアと、検出されたエラーにペナルティを課す深刻度上限の低い方を採用する。このアプローチにより、文書のページの大半が回復されたとしても、見過ごされがちな重大なエラーが隠蔽されることを効果的に防ぐ。六つの深刻度テストスイートを通じて検証されたこの指標は、既存の指標と比較して専門家の判断により密接に一致し、テストされた良性の変更の最大3.4%にしかペナルティを課さないことが示されている。
評価では、フロンティア視覚言語モデル(frontier vision language models)、専門の文書パーサー、およびオープンウェイトシステムを対象とした包括的な分析が実施された。これにより、全体のランキング、各解析能力ごとのパフォーマンス、および精度とコストのトレードオフが詳細に比較検証されている。
参考: arXiv cs.CV (アーカイブ) — 2026年11月16日 14:00 (JST)