Apple ML Research、大規模モデル向け生成長モデリング「LenVM」を発表
Apple ML Researchは7月20日(現地時間)、大規模な自己回帰モデル向けに、トークンレベルの生成長をモデル化する新たなフレームワーク「Length Value Model (LenVM)」を発表した。このLenVMは、各デコーディングステップで残りの生成長をモデル化することで、きめ細やかな長さモデリングを実現する。注釈なしで密かつバイアスのない、スケーラブルな監視信号を提供すると説明されており、生成AIモデルの出力制御向上に寄与する見込みだ。