ミンケオン・キム (MinKeon Kim) 氏らの論文が8月30日(現地時間)、オンライン学術論文公開サイトarXiv (アーカイヴ) にて公開された。この論文は、検索拡張生成 (Retrieval-Augmented Generation、RAG) におけるマルチホップ推論でのエラー伝播に対処する新たな手法「PRO-Step」を提案している。PRO-Stepは、中間ステップの論理的妥当性と証拠に基づく根拠の両方を評価し、ポリシーを最適化することで、既存手法の限界を克服することを目指す。
大規模言語モデル (Large Language Models) の応答を外部知識で強化するRAGは、マルチホップ推論において初期の検索失敗が後続ステップに影響を与えるエラー伝播の脆弱性を抱えている。これまでの成果ベース最適化 (outcome-based optimization) は最終的な回答のみを評価するため、中間段階の検索や推論におけるエラーを検出できなかった。
既存のプロセスベース手法 (process-based methods) はステップレベルの信号を導入するものの、依然として各ステップを最終回答に対して評価していた。このため、誤った検索であっても偶然に正しい回答にたどり着いた場合に報酬を与えてしまう「見せかけの成功」を評価する問題があった。
PRO-Stepは、RAGにおけるステップレベルの監視 (step-level supervision) に着目し、各ステップの論理的妥当性 (logical validity) と証拠に基づく根拠 (evidential grounding) の両方を評価する生成型PRM (generative PRM) を訓練する。さらに、このPRM誘導型価値ツリー探索 (PRM-guided value tree search) を用いて、妥当なステップと欠陥のあるステップを対比する選好ペア (preference pairs) を構築し、ステップレベルのDirect Preference Optimization (DPO) を通じてポリシーを最適化する。
シングルホップおよびマルチホップQAデータセット (single and multi-hop QA datasets) での実験結果では、PRO-Stepが5つのベンチマークにおいて最高の平均Exact Match (EM) とF1スコア (F1) を達成した。本研究のコード、モデル、およびトレーニングデータは公開されている。この論文はEMNLP 2026での採択が決定している。
参考: arXiv cs.CL — 2026年9月3日 13:00 (JST)
原文ハイライト"PRO-Step: Step-level Process Reward Optimization for Retrieval-Augmented Generation"