arXiv cs.LGは2026年10月20日(現地時間)、論理および計画タスク向けに「バイナリ離散拡散 (Binary Discrete Diffusion)」モデルを新たに発表した。このモデルは連続時間離散拡散プロセスの一種で、ノイズ状態を位置ごとの候補トークンセットとして表現する。これにより、既存のマスク拡散や一様拡散モデルが表現できなかった部分的な不確実性を明示的に扱えるようになる。Sudoku-ExtremeやBoxobanといったタスクで既存の強力なベースラインモデルを一貫して上回る性能を示した。
バイナリ離散拡散は、ノイズ状態をバイナリメンバーシップベクトルとして表現される候補トークンセットで表す。これは候補セットの追加と削除を通じて情報が徐々に失われ、また回復されることを可能にし、拡散状態自体が部分的な不確実性を表現する。従来のマスク拡散や一様拡散モデルは、単一の破壊イベントでトークンの識別情報を消去するため、複数の選択肢が残る部分的に解決された不確実性を明示的に表現できなかった。
Rodrigo Casado Noguerales氏らの研究チームは、Sudoku-Extreme、Boxoban、およびグラフ彩色 (graph coloring) のタスクにおいて、バイナリ拡散の対称的な定式化が、既存の強力かつ調整済みのマスク拡散および一様拡散ベースラインを一貫して上回る性能を示すことを明らかにした。特に、最も難しいインスタンスで最大の性能向上を記録した。言語モデリング（Text8、TinyStories、OpenWebText）においては、既存モデルと同等の競争力を維持している。
これらの結果は、候補セットが反復推論 (iterative reasoning) の効果的な中間表現として機能することを示唆している。また、破損カーネル (corruption kernel) が逆モデルによって学習される計算を実質的に変更できることも示している。
参考: arXiv cs.LG (アーカイブ) — 2026年10月21日 02:11 (JST)
原文ハイライト"a set of candidate tokens per position, represented as a binary membership vector."