arXiv cs.AIは2026年7月6日(現地時間)、大規模言語モデル（LLM）の能力向上に向けた新たな検証軸として機能する「LLM-as-a-Verifier」を発表した。これは、エージェントタスクに対して追加学習を必要とせず、きめ細かなフィードバックを提供する汎用検証フレームワークとして位置づけられている。既存の評価手法とは異なり、候補ソリューションに対し連続的なスコアを生成する。
ジャッキー・クォック (Jacky Kwok) 氏らが発表したこのフレームワークは、標準的なLMジャッジがLLMに離散的なスコアを生成させるのに対し、スコアリングトークンログの分布の期待値を計算することで連続的なスコアを生成する確率的定式化を採用している。
この定式化により、検証はスコアの粒度、繰り返し評価、基準分解という複数の次元でスケーリングが可能になる。特に、スコアの粒度をスケーリングすることで、肯定的ソリューションと否定的ソリューションの間の分離が向上し、より調整された比較が実現するという。また、繰り返し評価と基準分解のスケーリングは、分散と複雑さの低減を通じて検証精度に継続的な向上をもたらす。
さらに、LLM-as-a-Verifierは、検証者の連続スコアを用いて候補の中から最適なソリューションを選択するコスト効率の高いランキングアルゴリズムも導入している。本フレームワークは、Terminal-Bench V2で86.5%、SWE-Bench Verifiedで78.2%、RoboRewardBenchで87.4%、MedAgentBenchで73.3%という性能を達成している。このきめ細かな信号は、タスク進捗の推定指標としても機能し、Claude Codeの拡張機能として開発者がエージェントシステムを監視・改善するのに役立つとされている。加えて、LLM-as-a-Verifierは強化学習（RL）に密なフィードバックを提供し、ロボティクスおよび数学的推論ベンチマークにおけるSACとGRPOのサンプル効率を向上させることが示されている。
参考: arXiv cs.AI — 2026年7月7日 02:59 (JST)
原文ハイライト"LLM-as-a-Verifier, a general-purpose verification framework that provides fine-grained feedback"