Lafaは2026年10月20日(現地時間)、データ効率的な方法で80億パラメータに拡張された、高速かつ高性能なフロー言語モデルであることを発表した。これは連続フロー言語モデルとして、離散拡散モデルでは利用できない制御および高速化ツールを用いた並列生成の道筋を示す。既存の自己回帰 (AR) モデルの効率的な訓練と高速推論を可能にする設計が特徴である。
このモデルは、プレフィックスに因果的アテンションを適用し、各ブロック内で双方向かつ非同期フローを持つブロックワイズフローモデルとして設計されている。これにより、既存の自己回帰（AR）モデルを適応させることで効率的な訓練を可能にし、プレフィックスキャッシングとブロックワイズ並列デコーディングを通じて高速な推論を実現する。
Arnav Chavan（アーナヴ・チャヴァン）氏らの研究チームは、Lafaを0.5B、7B、8Bのスケールで300億トークン未満で訓練し、これは以前の拡散モデルと比較してデータ効率が高いと報告している。Lafaは、指示追従、推論、コーディングのタスクにおいて、ARモデルの品質に匹敵するか、またはそれを上回る性能を示した。また、フローマップに蒸留することで、1ステップおよび少数ステップの生成にも利用できる。
フロー訓練は、多トークン予測効果を通じて既存のAR能力を維持または向上させる。この効果は、フローベースのドラフトを単一モデル内で自己回帰的に検証する自己投機的デコーディングスキームに活用され、同等の品質でARモデルの2.54倍のスループットを達成した。これは、多トークン予測や離散拡散手法を上回る結果である。研究チームは、連続フローが言語モデリングのスケーラブルな基盤として機能することを示した。
参考: arXiv cs.CL (アーカイブ) — 2026年10月21日 02:20 (JST)
原文ハイライト"This yields 2.54x the throughput of an AR model at comparable quality"