LLM審査員を代替する実行可能プログラム「ExecJudges」
arXiv cs.IRは2026年11月18日(現地時間)付けで、Eugene Agichtein氏、Charles L. A. Clarke氏、Kaustubh Dhole氏、William Stern氏らが執筆した論文を公開した。同論文は、情報検索評価で広く利用される大規模言語モデル (LLM) 審査員の高コスト性、解釈の困難さ、再現性の低さといった課題に対し、実行可能なプログラム型審査員「ExecJudges」を提案している。ExecJudgesは、評価ガイドラインを実行可能なプログラムに変換し、自動関連性ラベリングの高速化、検査可能性、スケーラビリティ向上を目指す。