arXiv cs.CVは2026年11月5日(現地時間)、Kislay Aditya Ojらが執筆した論文「InstaGen: Group-Shared Importance Sampling for Fast Video Generation」を公開した。この研究は、動画生成に用いられるDiffusion Transformers (DiTs)の計算コストとレイテンシの課題に対応するため、Permuted block-sparse attention (PBSA)のブロック選択メカニズムを改善する新手法、インスタジェン (InstaGen)を提案している。従来のトップp選択が非効率である点を指摘し、重要度サンプリングに基づくアプローチを導入することで、近似精度の向上を目指す。
インスタジェン (InstaGen)は、Diffusion Transformers (DiTs)における二次的なアテンション複雑性がもたらす計算コストとレイテンシの課題に対処する。既存のPermuted block-sparse attention (PBSA)手法は、セマンティックに並べ替えられたアテンション行列のブロックを選択的に計算することでコスト削減を図るが、一般的にクエリブロックごとに上位数個のキーブロックを選択するトップpパラダイムに従っている。
研究者らは、動画生成に頻繁に現れる高エントロピーなアテンション領域において、このトップp選択がサンプル効率を大幅に低下させることを指摘する。インスタジェンは、ブロック選択を重要度サンプリングとして再構築する。これにより、トップスコアリングキーは完全に計算される正確なセットを形成し、残りのキーは推定されたアテンションに比例して抽出されたサンプルによって表現され、逆サンプリング確率で重み付けされる。
インスタジェンはこの定式化に基づき、任意のPBSA手法に適用可能であり、そのブロック選択を正確なセットと重み付きサンプルで置き換える。各クエリクラスターは全てのクエリで共有される一つのサンプルを抽出し、サンプリングされたキーは効率的なGPU実行に適したブロックを形成する。
論文では、SVGファミリーのPBSA手法を例にとり、インスタジェンをSVG2にパラメータ化した場合の性能向上を示している。Wan2.1-T2V-1.3BおよびWan2.1-T2V-14Bにおいて、インスタジェンはSVG2と比較して、アテンション密度が一致する条件でPSNRをそれぞれ3.4 dBと2 dB向上させた。また、実時間（wall-clock time）が一致する条件では、PSNRをそれぞれ1.6 dBと2.2 dB改善している。Wan2.1-T2V-14Bでは、SVG-EARに対してもほぼ同じ密度でPSNRを1.1 dB上回り、かつ実行速度はSVG-EARの1.48倍に対し1.65倍の高速化を達成した。
参考: arXiv cs.CV (アーカイブ) — 2026年11月9日 14:00 (JST)
原文ハイライト"InstaGen: Group-Shared Importance Sampling for Fast Video Generation"