Apple ML Researchは10月14日(現地時間)、テキスト、画像、音声の3モダリティを対象としたMasked Diffusion Modelsの設計空間に関する研究結果を公開した。3モダリティ全てをゼロから事前学習した初の試みと位置付けられ、マルチモーダルスケーリング法則やモダリティ混合比率を体系的に分析したほか、推論サンプリングの最適化されたデフォルト設定も提示した。
バッチサイズ最適化の新手法
バッチサイズの分析では、最適なバッチサイズの調整を不要にする確率的微分方程式(SDE)ベースの新たな再パラメータ化手法を導き出した。この手法により、GPU飽和率やFLOP効率、処理時間といった計算リソースに基づいて選択する物理的バッチサイズと、確率的最適化における勾配分散を平衡させるために選択する論理的バッチサイズとを分離できるとしている。
モダリティ混合比率とスケーリング則
このほか、テキスト、画像-テキスト、音声-テキストという3つのモダリティの混合比率や、マルチモーダルなスケーリング法則についても体系的に分析した。予備的なモデルの事前学習では、30億パラメータ規模のモデルを6.4兆トークンで学習し、テキスト生成、テキストから画像を生成するT2Iタスク、テキストから音声を生成するT2Sタスクの全てで強力な結果を示したという。複数のモダリティにまたがるスケーリング挙動について知見を得られたとしている。
研究体制
研究の著者には、ルイ・ベチューン(Louis Béthune)氏、ヴィクター・トゥリッシ(Victor Turrisi)氏、ブルーノ・カクペル・ムウォドシェニェツ(Bruno Kacper Mlodozeniec)氏らが名を連ねる。ケンブリッジ大学やMIT、Google DeepMindの研究者も関与しており、一部の著者はApple在籍時にこの研究に従事していたという。
関連研究
関連する研究としては、離散データのモデリングと生成に向けた枠組みとされる離散拡散の新たな目的関数Target Concrete Score Matching(TCSM)が2025年7月11日に発表されている。また、バッチサイズと処理時間のトレードオフを可能にするモデルのEMAスケーリングに関する研究How to Scale Your EMAが2023年12月4日に公開されている。
参考: Apple ML Research (アーカイブ) — 2026年10月14日 09:00 (JST)