ニクラス・ミュンニグホフ氏 (Niklas Muennighoff) らの研究グループは8月26日(現地時間)、言語モデル (LM) のテスト時スケーリングを効率化する新手法「Prefix Sliding (プレフィックス・スライディング)」を提案したと、学術論文公開サイトarXiv cs.CLで発表していた。この手法は、言語モデルが長時間の推論を行う際に課題となっていたメモリ負荷を解消し、計算コストを大幅に削減しながら、より効率的な処理能力を提供することを目指している。
言語モデルは、与えられたプロンプトやタスクに対し、推論を長く行うことで、より複雑な問題解決において性能が向上することが近年知られている。しかし、現状のモデルは推論トレース全体をメモリに保持するため、推論が長大化すると計算コストが過度に高くなるという根本的な課題を抱えていた。研究グループは、推論が進むにつれて中間的な推論トークンの重要性が薄れることに着目し、この課題を解決するアプローチを開発した。
Prefix Sliding (プレフィックス・スライディング) は、モデルの推論中に、主要な指示やツールを含む「プレフィックス」と、モデルが現在取り組んでいる推論を指す「直近数千トークンのウィンドウ」に含まれない中間トークンを破棄する仕組みを持つ。この選択的な破棄により、モデルがどれだけ長く推論を行っても、合計メモリ要件をほぼ一定に保つことが可能になる。これにより、メモリの制約を受けずに、効率的な長期間のテスト時スケーリングを実現できるとしている。同手法は、従来の「スライディングウィンドウ」手法や、中間トークンを要約する他の手法と比較して、計算効率と性能維持の点で優位性を示すという。
既存の事前学習済みモデルにPrefix Slidingを適用した場合でも、追加のトレーニングなしで性能を維持しつつ、最大3倍の高速化が実現可能であることが示された。さらに、強化学習を用いてPrefix Slidingとともにモデルをトレーニングすることで、10万トークンを超える非常に長い推論トレースへのスケーリングが可能になり、より優れた性能を達成できるという。この技術は、特に長文の質問応答、複雑なコード生成、マルチターン対話など、長い推論過程を必要とするアプリケーションにおいて大きな効果を発揮すると期待されている。
研究グループは、本手法のコードを公開しており、言語モデルの効率的な運用と応用範囲の拡大に貢献することを目指している。
参考: arXiv cs.CL (アーカイブ) — 2026年8月27日 02:37 (JST)