ポール・ユンガー氏らは2026年6月4日(現地時間)、Self-Augmenting Retrieval for Diffusion Language Models (SARDI) と呼ばれる動的な検索拡張生成 (RAG) フレームワークに関する論文をarXiv cs.CLで発表した。このフレームワークは、離散拡散言語モデルがテキストを生成する際に破棄される低信頼度のトークンを先行シグナルとして活用し、出力が確定する前に強力なエビデンスの検索を可能にする。
離散拡散言語モデルは、並行して応答全体を反復的にデノイズ (ノイズ除去) することでテキストを生成する。各ステップで、マスクされた各位置に暫定的なトークンを予測し、確信度の高い予測を出力にコミットし、確信度の低いものを破棄する。SARDIは、この破棄されたトークンが検索拡張生成にとって有用な先行シグナルとなり、確信度の低いトークンであってもデノイズ軌道の早い段階で顕著なエンティティを表面化させ、出力が確定する前に強力なエビデンスの検索を可能にすることを利用する。
SARDIは、訓練が不要 (training-free) であり、特定の検索器に依存せず (retriever-agnostic)、任意の推論能力を持つ離散拡散言語モデルに適用できる。このフレームワークは、5つのマルチホップQAベンチマークにおいて、現在の訓練不要な拡散モデルおよび自己回帰型検索ベースラインを上回る性能を示し、最大で8倍高いスループットを達成したと報告されている。本研究はICML 2026でコメントされている。
参考: arXiv cs.CL — 2026年6月5日 02:56 (JST)
原文ハイライト"Self-Augmenting Retrieval for Diffusion Language Models (SARDI), a dynamic RAG framework"