arXiv cs.CLは9月1日(現地時間)、「Learning Evidence Sufficiency Boundaries for Selective Answering in Grounded Multi-Hop QA」と題する論文を発表しました。本研究は、根拠に基づいた質問応答（QA）システムにおける多段階質問応答（Multi-Hop QA）の課題に取り組み、不完全な証拠が誤った回答に繋がる問題を解決することを目指します。十分な証拠に基づいてのみ回答し、そうでない場合は回答を控えるべき境界をモデルに学習させるため、新しい訓練フレームワーク「Evidence Sufficiency Boundary Training」が導入されました。
本論文では、モデルが不十分なコンテキストでは回答を控え、コンテキストが最初に十分になった時点で回答し、その後、冗長な証拠が追加されても回答を安定させるべきだという、エビデンス十分性境界（evidence sufficiency boundaries）を通じた選択的回答を追求しています。
導入されたEvidence Sufficiency Boundary Trainingは、生成ネイティブな訓練フレームワークです。これは、順序付けられた証拠チェーンを構築し、回答を控える状態から回答する状態への移行を直接監視するものです。この手法は、レベル監視、境界フリップマージン、境界後の安定性、回答再現率保護といった複数の要素を組み合わせています。
研究チームは、HotpotQA、2WikiMultiHopQA、MuSiQueといった既存のデータセットから証拠チェーンを構築し、それらを用いてモデルの評価を行いました。評価は、チェーンメトリクス、生のQAユーティリティ、外部の回答不能セットにおける未サポート回答率という複数の指標に基づいています。具体的には、Qwen2.5-3B-InstructモデルとLoRA適応を適用して実験を実施しました。
その結果、Evidence Sufficiency Boundary Trainingは、テストされたシステムの中で最も強力な境界局所化を実現したと報告されています。フリップ精度は0.807を達成し、トークンレベルの回避ベースラインである0.781を上回りました。さらに、外部の回答不能評価においては、未サポート回答率を0.095に抑え、これは同じベースラインの0.101と比較して最低値であり、同時に競合するraw QA F1スコアを維持することにも成功しました。
これらの実験結果は、モデルが拒否状態から回答状態への証拠レベルを明確に識別し、訓練することで、根拠に基づいた選択的回答の性能が大きく向上することを示しています。
参考: arXiv cs.CL — 2026年9月3日 13:00 (JST)