arXiv cs.CLは9月17日(現地時間)、検索拡張言語モデル（RALM）が信頼できない応答を棄権する際の効率を大幅に向上させる新手法「Sieve and Sage」に関する研究論文を掲載した。この研究は、従来の単一ステップアプローチが抱える性能と計算コストの課題に対処し、システムの精度を最大69.4パーセンテージポイント、Macro-F1を最大55.2パーセンテージポイント改善。処理速度を最大1.99倍向上させ、信頼性の高い応答棄権機能を実現している。
Jongbin Won氏らが執筆したこの論文は、EMNLP 2026 Findingsに採択された。研究チームは、RALMが検索によって得られた証拠が信頼性のある応答をサポートしない場合に、応答を棄権すべきであるという考えに基づいている。
従来のRALMにおける応答棄権アプローチでは、大規模言語モデル（LLM）が、必要な情報がないunanswerable stateと、関連情報が矛盾したり、否定されたり、あるいは敵対的な情報と混在するdistracted stateという、性質の異なる検索失敗を一括で処理していた。この統合的な処理は、棄権機能の性能を限定的にし、かつ計算コストが高いという問題を引き起こしていた。特に、多様なノイズが混在するdistracted stateの複雑性を、単一のLLMで効率的に処理することは困難であった。
これらの課題に対処するため、研究チームは検索失敗をunanswerable state（必要な証拠がない状態）とdistracted state（関連証拠が矛盾する、否定された、あるいは敵対的な情報と混在する状態）の2つに明示的に分解する新しいパラダイムを提案した。この分解により、問題の複雑性を低減し、よりターゲットを絞った効率的な処理が可能となる。
この分解に基づき、新たなフレームワーク「Sieve and Sage」が開発された。まず、軽量モジュールである「Sieve」が導入される。Sieveの主な役割は、検索された文書セットから注意散漫な証拠（distracted stateの原因となるノイズ）を効率的にスクリーニングし、フィルタリングすることにある。これにより、後続の高コストなLLM「Sage」が、よりクリーンな情報セットに基づいて判断を下せるようになる。
Sageは、Sieveによってクリーンアップされた証拠を分析し、最終的な応答の生成または棄権を決定する。Sieveが事前にノイズを除去することで、Sageはunanswerable stateの判断に集中でき、全体としての処理効率と棄権の信頼性が向上する。
この「Sieve and Sage」フレームワークは、一般的なドメインと、誤った情報が特にリスクとなる高リスクな専門ドメインの両方で評価された。評価の結果、単一ステージのベースラインと比較して、注意散漫なノイズを事前に検出する能力が顕著に向上し、システム精度を最大69.4パーセンテージポイント、Macro-F1を最大55.2パーセンテージポイント改善したことが確認された。さらに、このアプローチは最大1.99倍の速度向上を達成し、棄権機能を備えたRALM向けの効率的で信頼性の高いパイプラインを確立したことを示している。
参考: arXiv cs.CL (アーカイブ) — 2026年9月30日 13:00 (JST)
原文ハイライト"Sieve and Sage: Efficient Distraction Filtering for Reliable RALM Abstention"