Apple ML Researchは7月20日(現地時間)、大規模な自己回帰モデル向けに、トークンレベルの生成長をモデル化する新たなフレームワーク「Length Value Model (LenVM)」を発表した。このLenVMは、各デコーディングステップで残りの生成長をモデル化することで、きめ細やかな長さモデリングを実現する。注釈なしで密かつバイアスのない、スケーラブルな監視信号を提供すると説明されており、生成AIモデルの出力制御向上に寄与する見込みだ。
LenVMは、大規模言語モデル（LLMs）や大規模視覚言語モデル（VLMs）を用いた実験において、推論時に高い有効性を持つシグナルを提供することが示された。
具体的には、厳密な長さ一致タスクのLIFEBenchでは、7BモデルにLenVMを適用したところ、長さスコアは30.9から64.8へと大幅に向上し、先行するクローズドソースモデルを上回る結果を得ている。この結果は、LenVMが生成長を正確に制御する能力を持つことを示唆している。
LenVMは性能と効率のトレードオフを継続的に制御することも可能だ。GSM8Kベンチマークを用いた検証では、200トークンの生成バジェットにおいて、LenVMが63パーセントの精度を維持した一方、単純なトークンバジェットベースラインはわずか6パーセントにとどまった。このデータは、LenVMが限られたリソース下でも高い精度を保つ能力があることを裏付けている。さらに、LenVMはプロンプトの境界から総生成長を正確に予測する機能も備えている。
LenVMが提供するトークンレベルの評価値は、生成ダイナミクスを解釈可能な形で可視化する。これにより、特定のトークンが推論を短いまたは長いレジームへとどのように変化させるかを明らかにすることが可能だと説明されている。この可視化機能は、モデルの挙動を深く理解し、その制御を向上させる上で重要な意味を持つと見られる。
これらの結果は、LenVMが生成長の制御、予測、および生成ダイナミクスの解釈を含む広範なアプリケーションをサポートすることを示唆している。この研究は、生成長がトークンレベルの価値シグナルとして効果的にモデル化可能であることを強調した。LenVMは、長さモデリングのための汎用フレームワークとして、また将来の強化学習（RL）トレーニングをサポートする長さ固有の価値シグナルとしての可能性を秘めていると指摘されている。
参考: Apple ML Research — 2026年7月20日 09:00 (JST)