Tarun Sureshら研究者グループは2026年9月17日(現地時間)、Block diffusion language models (BDLMs) の長文コンテキスト学習効率を大幅に向上させる新たな分散並列化手法「context-sharded block parallelism (CSBP)」を発表した。この手法は、BDLMの主要な課題である分散アテンション通信とアクティベーションメモリの制約を克服する。H200 GPUを用いた評価では、既存手法比で最大1.45倍、H100 GPUでは最大7.59倍の性能向上を記録している。
Block diffusion language models (BDLMs) は、ブロック間の自己回帰依存とブロック内の並列ノイズ除去を組み合わせた言語モデルである。しかし、その長文コンテキストでのトレーニングは、分散アテンション通信とアクティベーションメモリの制約を受ける課題を抱えている。
従来のContext Parallelism (CP) は、結合されたクリーンデータと破損データのシーケンスを位置によってシャード化し、共有されるクリーンなK/V値とブロック固有の破損K/V値およびその勾配を通信していた。研究者らは、BDLMの目的関数がターゲットブロック間で分離することに着目し、新たな分散並列化次元block parallelism (BP)を導入した。BPは、各破損ブロックの計算を一つのランクに割り当てる。
このBPを長文コンテキストに拡張するため、context-sharded block parallelism (CSBP)が考案された。CSBPは、共有されたクリーンなシーケンスも同様にランク間でシャード化する。これにより、破損したK/V値と勾配をローカルに保持し、複製されたクリーンなプレフィックスを回避しつつ、BDLMのトレーニングセマンティクスを維持する。
CSBPの性能評価では、16基のH200 GPUを使用し、256Kコンテキストにおいて、スーパーバイズドファインチューニングで既存の最良ベースラインと比較して1.18倍から1.45倍、BDLMへの変換で1.27倍から1.33倍のスループット向上を達成した。同時に、ピークHBM使用量は同等か削減された。フルモデルの速度向上は512Kコンテキストで最大1.61倍に達している。また、8基のH100 GPU上でのDFlash2 speculative-decoderトレーニングでは、512Kコンテキストで2.48倍、1Mコンテキストで7.59倍の加速が見られた。12時間のDiffusionGemma 26B-A4B SFT実行では、SWE-bench VerifiedとTerminal-Bench Liteの両方で、全てのトレーニング済みチェックポイントにおいて高いパスレートを示した。
参考: arXiv cs.LG — 2026年9月18日 13:00 (JST)
原文ハイライト"Block diffusion language models (BDLMs) combine autoregressive dependencies across blocks with parallel denoising within blocks"