Appleは2026年8月6日(現地時間)、言語モデリング（LM）における離散データの連続生成技術であるCategorical Flow Maps (CFMs) の大規模化に関する研究成果を発表しました。同研究では、CFMsがこれまでの小規模評価から、大規模な設定においても高品質なテキスト生成と高速サンプリングを実現することが示されました。
研究では、連続拡散モデルとフローマッチングモデルが言語モデリングにおいて自己回帰型アプローチに代わる強力な選択肢となる可能性を探っています。これらのモデルは、連続モダリティで利用されてきた高速サンプリングや傾斜といった利点を離散データにも適用します。これまでCFMsは比較的小規模なモデル（10億パラメータ未満）でしか評価されておらず、そのスケーラビリティは未検証でした。
Appleの研究チームは、1.7Bパラメータのベースフローモデルを2.1Tトークンで学習し、それをCFMに自己蒸留することに成功しました。このCFMは、わずか4推論ステップで多様かつ高品質なテキストを生成し、データレベルに近いトークンエントロピーを維持します。また、セミディスクリート設定におけるCFMの尤度上限を導入し、標準的なLMベンチマークでモデルを評価した結果、離散拡散法と同等の成果を達成しました。さらに、大規模なモデル学習で生じる課題を明らかにし、損失重み付けと時間スケジューリングに関する実践的な洞察が提供されています。
本研究は、Oscar Davis氏、Anastasiia Filippova氏、Victor Turrisi氏、Amitis Shidani氏、Pierre Ablin氏、Marco Cuturi氏、Louis Béthune氏らが執筆しました。Oscar Davis氏はUniversity of Oxfordに所属し、Apple在籍中に本研究を実施しました。
参考: Apple ML Research — 2026年8月7日 09:00 (JST)
原文ハイライト"generates diverse, high-quality text in as few as 4 inference steps"