arXiv cs.LGが2026年6月18日(現地時間)付けで発表した論文によると、Joshua Engels氏らが拡散モデル「DiffusionGemma」の推論透明性に関する研究結果を公開した。研究は、モデルの意思決定を理解し、誤用やアライメント不良を軽減し、予期せぬ挙動をデバッグするために重要とされる大規模言語モデル（LLM）の推論透明性を、変数透明性とアルゴリズム透明性の二つの側面から分析した。
研究者らは、DiffusionGemmaが計算の大部分を連続的な潜在空間で実行することが、その推論をどの程度不透明にするかという問いに取り組んだ。
当初、DiffusionGemmaは変数透明性が低いと評価され、解釈可能なモデル状態間の計算量を示す不透明な直列深度 (opaque serial depth)は、対応する自己回帰型モデル「Gemma 4」の28.6倍とされた。しかし、研究チームはノイズ除去ステップ間の情報フローを解釈可能なトークンボトルネック (interpretable token bottleneck)を通じてマッピングすることで、ダウンストリームのパフォーマンスを低下させることなく、中間状態を解釈可能にできることを示した。これにより、不透明な直列深度はGemma 4のわずか1.1倍にまで減少した。
アルゴリズム透明性については、キャンバス内の全てのトークン予測がノイズ除去ステップごとに変化する拡散モデルの方が、自己回帰モデルよりも困難であるとされた。研究者らはこのギャップを埋めるため、一連の解釈可能性ケーススタディを実施し、非時系列推論 (non-chronological reasoning)、トークンおよびシーケンスの混濁 (token and sequence smearing)、および中間コンテキスト推論 (intermediate-context reasoning)といった拡散モデル特有の現象の初期証拠を明らかにした。最終的に、透明性の重要な応用である監視可能性 (monitorability)をテストした結果、DiffusionGemmaはGemma 4と同様に監視可能であることが判明した。
参考: arXiv cs.LG — 2026年6月19日 02:59 (JST)
原文ハイライト"However, DiffusionGemma performs a larger fraction of its computation in a continuous latent space"