huggingface.coは2026年11月12日(現地時間)付けで、大規模言語モデル (LLM) を計算量適応型の効率的なSystem Oneモデルへ変換する新手法「ネストーン (NESTONE)」を提案する研究論文を公開した。この手法は、入力ごとに計算の深度を調整することで、従来のLLMが抱える推論コストと速度の課題解決を目指す。

研究論文では、LLMをSystem One決定モデルに転用する際、言語モデリングヘッドを決定ヘッドに置き換え、フルバックボーンを保持するため、全ての決定が全層の計算コストを伴うという課題が指摘された。また、決定に必要な深度は不明瞭なままだった。

分析の結果、決定情報は中間層に集中しており、初期層が必須機能を構築し、最後の6層はパフォーマンスを損なうことなく削除可能であることが判明した。さらに、独立して訓練された小型モデルは、専門的な決定能力を開発するよりもフルモデルを模倣する傾向があることも明らかになった。これらの発見は、効率性には単に小型のバックボーンだけでなく、異なる深度間での計算共有が求められることを示唆している。

これらの知見に基づき提案されたNESTONEは、フルモデルと、その最終層および決定ヘッドを自己蒸留を通じて共有するプレフィックスサブモデルを共同で訓練する。このアプローチでは、各出口に配置された軽量なゲートが隠れ状態を読み取り、追加の計算が必要かどうかを判断することで、1つのモデルが複数の層で動作することを可能にする。

7つの決定ベンチマークにおいて、NESTONEはあらゆる深度で独立して訓練されたモデルと同等か、それ以上の性能を発揮した。この適応的計算により、NESTONEはより優れた精度と効率のトレードオフを実現した。


参考: huggingface.co (アーカイブ) — 2026年11月13日 04:56 (JST)

原文ハイライト

"decision information is concentrated in intermediate layers, with early layers building essential features"

この記事をシェア
X はてブ LinkedIn