arXiv cs.IRは2026年11月18日(現地時間)付けで、Eugene Agichtein氏、Charles L. A. Clarke氏、Kaustubh Dhole氏、William Stern氏らが執筆した論文を公開した。同論文は、情報検索評価で広く利用される大規模言語モデル (LLM) 審査員の高コスト性、解釈の困難さ、再現性の低さといった課題に対し、実行可能なプログラム型審査員「ExecJudges」を提案している。ExecJudgesは、評価ガイドラインを実行可能なプログラムに変換し、自動関連性ラベリングの高速化、検査可能性、スケーラビリティ向上を目指す。

提案されたExecJudgesは、字句マッチング、標準的なNLP(自然言語処理)ライブラリ、およびプール統計のみを利用する。また、人間による少数のラベル例が利用可能な場合は、ExecJudges-Lと呼ばれるバリアントがそれらを活用する。

研究チームは、7つのTRECコレクションでExecJudgesの評価を実施した。その結果、ExecJudgesはTREC DL 2019-2021において、Claude Sonnet 5.5 LLM審査員と同レベルでNIST評価者と一致する成績を示した。ExecJudges-Lバリアントは、人間による少数のラベルをトピックごとに利用した場合、同数のラベルを使用するトピック別分類器よりもすべての7つのコレクションでNISTとの一致度が高かった。さらに、LLM審査員に同数のラベルが提供された場合と比較して、その一致度を上回るか、Krippendorff’s alphaで約0.05以内に収まることが確認された。

ExecJudgesによって生成されたラベルは、公式のTREC DLの実行結果をKendall’s tauで0.87から0.94の範囲でランク付けした。プログラム作成にかかる費用はトピックあたり0.17ドルから0.49ドルの1回限りであり、採点に追加コストは発生しない。これらの結果は、ExecJudgesがシステム評価やランキング改善のために、深い結果プールにラベル付けする際の、再現性、検査可能性、効率性、費用対効果に優れたLLM審査員の代替手段となる可能性を示唆している。


参考: arXiv cs.IR (アーカイブ) — 2026年11月19日 03:09 (JST)

原文ハイライト

"ExecJudges offers a reproducible, inspectable, efficient and cost-effective alternative to LLM judges"

この記事をシェア
X はてブ LinkedIn