言語モデルの推論を効率化する「Prefix Sliding」をミュンニグホフ氏らが提案
ニクラス・ミュンニグホフ氏 (Niklas Muennighoff) らの研究グループは8月26日(現地時間)、言語モデル (LM) のテスト時スケーリングを効率化する新手法「Prefix Sliding (プレフィックス・スライディング)」を提案したと、学術論文公開サイトarXiv cs.CLで発表していた。この手法は、言語モデルが長時間の推論を行う際に課題となっていたメモリ負荷を解消し、計算コストを大幅に削減しながら、より効率的な処理能力を提供することを目指している。