arXiv cs.CLが2026年11月12日(現地時間)付けで報じたところによると、ミンヘ・オー (Minhae Oh) 氏ら研究者らは、拡散型言語モデルが生成テキストを再検討する際に、いつ再生成すべきかを学習する手法に関する論文を発表した。この手法「DiVR」は、部分的に生成されたシーケンスが正しい解答に到達するかを予測する検証器として機能し、モデルの精度を向上させた。
拡散型言語モデルにおけるリマスキングは、生成されたテキストの見直しを可能にするが、効果的な修正には、いつ何を修正すべきかを知る必要がある。数独での診断により、隠れ状態にはトークン信頼度では露呈しにくいエラー情報が含まれること、また、孤立したエラーをリマスキングしても周囲の文脈が固定されていると再現されやすいという二つの課題が明らかになった。
これらの知見に基づき開発されたDiVRは、モデル自身の軌跡の最終的な正確さで訓練される検証器であり、ブロックの再生成時期と保持すべき代替案を決定する。生成器自体は変更されない。
5つの推論ベンチマークとLLaDA-8B-Baseを使用した実験では、DiVRは微調整された生成器の平均精度を35.3%から43.4%に引き上げた。この向上は、グリーディーデコーディングの1.9倍から3.5倍のコストで達成され、3.8倍から7.4倍のコストを使用する検索ベースラインを上回った。DiVRは、教師あり微調整や強化学習といった後学習を補完し、Dreamを含む他の生成器にも汎化する。
参考: arXiv cs.CL (アーカイブ) — 2026年11月13日 03:58 (JST)
この記事をシェア