Apple ML Research、3モダリティ拡散モデルの設計空間を体系的に分析
Apple ML Researchは10月14日(現地時間)、テキスト、画像、音声の3モダリティを対象としたMasked Diffusion Modelsの設計空間に関する研究結果を公開した。3モダリティ全てをゼロから事前学習した初の試みと位置付けられ、マルチモーダルスケーリング法則やモダリティ混合比率を体系的に分析したほか、推論サンプリングの最適化されたデフォルト設定も提示した。
Tag
6 件の関連記事
Apple ML Researchは10月14日(現地時間)、テキスト、画像、音声の3モダリティを対象としたMasked Diffusion Modelsの設計空間に関する研究結果を公開した。3モダリティ全てをゼロから事前学習した初の試みと位置付けられ、マルチモーダルスケーリング法則やモダリティ混合比率を体系的に分析したほか、推論サンプリングの最適化されたデフォルト設定も提示した。
arXiv cs.CL は2026年9月24日(現地時間)、Tianjing Li (ティエンジーン・リー) 氏らが開発した、テキスト・画像拡散モデル向けの新低ランク適応 (LoRA) 手法「Diffu-LoRA」に関する研究論文を公開した。この手法は、少数の参照画像から拡散モデルをパーソナライズする際に、被写体の同一性を維持しつつ新しい文脈を記述するプロンプトに従う能力を向上させながら、パラメータ効率を高めることを目的としている。従来のLoRAの課題であった適応容量の層間配分を、ゲート付き低ランク適応を通じて学習することを特徴とする。
Apple ML Researchは2026年10月7日(現地時間)、生成モデルのサンプリング効率を高める新たな手法「Normalizing Trajectory Models (NTM)」を発表した。NTMは、拡散ベースモデルが抱える少ステップ生成時の課題に対し、各逆ステップを条件付き正規化フローとしてモデル化し、厳密な尤度学習を可能にする。これにより、高品質な画像を少ないステップで生成しつつ、生成過程全体の厳密な尤度を維持する。
arXivは2026年9月3日(現地時間)、Jiechao Gao氏らが執筆した論文「PrivateHub: Contrastive Diffusion Model for Private Sensor-Intensive Environment Data Generation」を公開した。同論文は、センサーが集中する環境におけるプライバシー保護とサービス提供の両立を目指す新たなモデル「PrivateHub (プライベートハブ)」を提案している。PrivateHubは、拡散モデル内でコントラスト学習を活用し合成データを生成することで、プライベートな活動の推論を阻止しつつ、非プライベートなアプリケーションは機能維持可能にする。
Apple は2026年7月(現地時間)、テキストから動画を生成する処理速度を向上させる学習不要の新たな手法「CalibAtt」を発表しました。この技術は、既存の拡散モデルが抱える時空間アテンションのボトルネックを解消し、動画生成の品質とテキストとの整合性を維持しながら、最大1.58倍の高速化を実現します。これにより、高品質な動画生成における実行時間の遅さという課題の解決に貢献すると見られます。
arXiv cs.LGは2月10日(現地時間)、落合陽一氏 (Yoichi Ochiai) がApple M3 Ultraにおけるリアルタイム拡散モデル推論の体系的な最適化に関する研究成果を公開した。この研究は、リアルタイムカメラimg2img変換の実現を目指し、Apple M3 Ultra(60コアGPU、512 GBユニファイドメモリ)を用いた広範な最適化実験の詳細を報告。NVIDIA製GPUとは異なるアーキテクチャを持つ非CUDAプラットフォームにおける新たな知見を提供し、その実践的な指針が注目される。