arXiv cs.CLは2026年10月22日(現地時間)、乳房病変管理の文献を用いたRetrieval-Augmented Generation (RAG) システムに関する研究論文を発表した。本研究は、グラウンドトゥルースが検索スコアに与える影響を詳細に分析し、特にアノテーションのカバレッジと検索スコアとの依存関係に対応する、エビデンス認識型の評価プロトコルを記述している。この成果は、医療分野におけるRAGシステムの信頼性向上に寄与することが期待される。
この研究は、合計18件の文書コーパスと18件のクエリからなる開発ベンチマークを用いて実施された。評価対象の検索システムは、高密度埋め込み (high-density embeddings)、BM25、およびクロスエンコーダー再ランキング (cross-encoder re-ranking) を組み合わせた構成である。チャンクサイズは128トークンから1024トークンまで、オーバーラップは0%から20%までの範囲で評価され、合計4種類の検索器構成が検証された。関連性は、エビデンススパンを全ての関連チャンクにマッピングすることで定義され、重複するチャンクは同等のエビデンスを持つものとして扱われた。
検索性能の評価には、R-Precision、Recall@K、MRR（平均逆順位）、nDCG@K（正規化割引累積ゲイン）が用いられた。また、生成評価については、512トークンのインデックスに対してK=1から5でDeepEvalのクレームレベル指標が使用された。大規模言語モデル (LLM) 判別器としてはdeepseek-v4-proが利用されたほか、BLEUおよびROUGE指標も合わせて評価された。
選定されたハイブリッド検索器は、384トークンのチャンクサイズと20%のオーバーラップ設定を用いることで、18件のクエリ中17件において、トップ3の結果内に承認されたエビデンスを回収した。この設定におけるRecall@3、R-Precision、MRR@3、およびnDCG@3は、それぞれ0.94に達する高い性能を示している。
本研究は、クロスエンコーダー再ランキングが最高の検索スコアを達成したと結論付けている。さらに、関連アノテーションの拡張によって認識されるエビデンス量が増加した一方で、検索ランキング自体は変化しなかった。この結果は、アノテーションが検索評価に対して高い感度を持つことを示唆している。研究チームは、グラウンドトゥルースの品質と表現方法が、Retrieval-Augmented Generation (RAG) システムの評価結果にどのように影響を与えるかを詳細に分析しており、今後のRAGシステム開発における評価プロトコルの確立に貢献する知見を提供している。
参考: arXiv cs.CL (アーカイブ) — 2026年10月23日 02:36 (JST)
原文ハイライト"How Ground Truth Shapes Retrieval Scores: Evidence-Aware Evaluation of a Retrieval-Augmented Generation System"