Apple は2026年7月(現地時間)、テキストから動画を生成する処理速度を向上させる学習不要の新たな手法「CalibAtt」を発表しました。この技術は、既存の拡散モデルが抱える時空間アテンションのボトルネックを解消し、動画生成の品質とテキストとの整合性を維持しながら、最大1.58倍の高速化を実現します。これにより、高品質な動画生成における実行時間の遅さという課題の解決に貢献すると見られます。
最新の拡散モデルは高品質な動画生成を可能にする一方で、実行時間の遅さが課題となっていました。これらのモデルで用いられる大規模なTransformerベースのバックボーンは、時空間アテンションによって処理速度が制限されていると指摘されています。
アップルの研究チームは、トークン間の接続において、様々な入力に対して一貫して無視できるほどの低いスコアしか示さない部分が多く存在し、そのパターンがクエリ間で繰り返されることを特定しました。CalibAttはこの観察に基づき、これらのケースでのアテンション計算を省略します。CalibAttは、オフラインでのキャリブレーションパスを通じて、入力間で安定したブロックレベルのスパース性および繰り返しパターンを特定し、各層、ヘッド、拡散タイムステップ向けに最適化されたアテンション演算としてコンパイルします。推論時には、選択された入力依存の接続のみを密に計算し、不要な接続はハードウェア効率的な方法でスキップされます。
Wan 2.1 14B、Mochi-1、および少数ステップ蒸留モデルを様々な解像度で用いた実験では、CalibAttが最大1.58倍のエンドツーエンドの高速化を達成したと報告されています。これにより、既存の学習不要な手法を上回りつつ、動画生成品質とテキスト-動画アライメントを維持することが示されました。
また、アップルは関連研究として、柔軟な長さの粗密動画トークン化技術「VideoFlexTok」を2026年7月2日(現地時間)に、正規化フローを用いたエンドツーエンド動画生成モデル「STARFlow-V」を2026年4月30日(現地時間)にそれぞれ発表しています。
参考: Apple ML Research (アーカイブ) — 2026年7月21日 09:00 (JST)