ファイサル・ラダック (Faisal Ladhak) 氏らの研究チームは10月8日(現地時間)、潜在リカレント言語モデルが抱える性能課題を解決する新手法「Elastic Latent Recurrence (ELR)」を発表した。この手法は、従来のモデルで問題となっていた「ワンループ税」と呼ばれる、ワンループ時の性能低下を解消。同サイズの非リカレントモデルと同等のコストと精度を達成する。さらにループ数を増やすことで、推論計算量を伴いながらも精度を向上させることが可能になるという。
潜在リカレント言語モデルは、共有された層ブロックを繰り返し適用することで、ループ数の変更により推論計算量と精度のトレードオフを調整できる特徴を持つ。しかし、これまでのモデルでは、ワンループ時の性能が同サイズの非リカレントモデルに及ばないという「ワンループ税」が課題だった。このため、低レイテンシ（遅延）が求められる場面では、個別の非リカレントモデルが選択される傾向にあった。
ELRは、このワンループ税を回避するために提案された画期的な手法である。ELRモデルは、ワンループ時において、同サイズの非リカレントモデルと同等の推論コストで、類似の精度を達成する。ループを追加することで、さらなる推論計算量は必要となるが、精度を向上させることが可能となる。研究チームはELRを機能させるための主要な要素として、三点を挙げている。それは、学習可能なステップサイズを持つゲート付き状態更新、各オプティマイザ更新内でのループ数の混合、そして各パスをループインデックスと予算に基づいて条件付けする、というものである。
最初の二つの要素はワンループ時の高い精度を維持するのに寄与し、三つ目の要素は追加ループにおける損失を低減する効果を持つ。トレーニングコストを抑えるため、混合深度（Mixed Depth）はプレトレーニングの後半に導入することが可能だ。この際、切り替え時にゼロ初期化された条件付けを追加することで、スクラッチからの混合深度トレーニングよりも低い損失を達成できるという。特に混合エキスパート (MoE) モデルにおいては、最初のループにおけるエキスパート経路を後続のループで再利用することで、混合深度更新時間を11.7%削減しつつ、精度には測定可能な変化がないと報告されている。
推論時においては、最後のループのattention KVキャッシュのみを保持することで、attention KVメモリをワンループレベルに維持しつつ、追加ループによる性能向上の大部分を享受する。4Bの密結合モデルと30B-A3BのMoEハイブリッドモデルを用いた評価では、ELRのワンループ性能は、対応するベースラインと比較して10タスク平均で0.52ポイント低かったものの、別の設定では1.04ポイント高い結果を示した。そして、4ループではそれぞれ7.25ポイントと4.75ポイントの精度向上が見られた。この手法をポストトレーニングまで適用して得られた「Koi-4B」は、ワンループ時に「Qwen3.5-4B」に匹敵する人工分析知能指数 (AAAI Index) で推定18ポイントを記録し、4ループ時には29ポイントに達したと論文は報告している。
参考: arXiv cs.CL (アーカイブ) — 2026年10月12日 13:00 (JST)