ブロック並列化手法CSBP、拡散言語モデルの長文学習を効率化
Tarun Sureshら研究者グループは2026年9月17日(現地時間)、Block diffusion language models (BDLMs) の長文コンテキスト学習効率を大幅に向上させる新たな分散並列化手法「context-sharded block parallelism (CSBP)」を発表した。この手法は、BDLMの主要な課題である分散アテンション通信とアクティベーションメモリの制約を克服する。H200 GPUを用いた評価では、既存手法比で最大1.45倍、H100 GPUでは最大7.59倍の性能向上を記録している。