Apple ML Researchは2026年10月(現地時間)、長い思考連鎖やツール呼び出しで構成される言語モデルエージェントが直面するコンテキストウィンドウ飽和問題に対し、自己圧縮手法「SELFCOMPACT」を発表した。この新手法は、言語モデルが自身の判断でコンテキストの圧縮タイミングと方法を決定することを可能にする。既存の手法が抱える推論途中での情報破棄リスクを回避し、効率的な処理を実現する。同研究成果は、NeurIPSにて論文として公開された。
既存の言語モデルエージェントは、思考の連鎖やツール呼び出しからなる長いトレースを生成する過程で、コンテキストウィンドウ内に古い情報を蓄積し続け、それが後続の生成を固定化させることで、最終的には利用可能なコンテキストウィンドウの容量を超過するという課題に直面していた。従来の圧縮手法では、トークン数の閾値に基づいて固定間隔で圧縮がトリガーされるが、これは軌道の構造を考慮しないため、推論の途中経過や探索中の部分的な結果が誤って破棄されてしまうリスクがあった。
これに対し、「SELFCOMPACT」は、モデル自身が圧縮の時期と手法を自律的に決定できる革新的なフレームワークを提供する。この手法は、推論プロセスにおいて二つの主要な要素を組み合わせることで機能する。一つは、モデルが自ら呼び出し、蓄積されたコンテキストを効率的に要約する「compaction tool」である。もう一つは、サブタスクが解決されたか、あるいは軌道が収束に向かっている場合に圧縮を促し、推論が進行中であるか、または行き詰まっている状況では圧縮を抑制するといった、軽量なルーブリックである。これらの要素の巧みな組み合わせにより、ファインチューニングや外部からの教師なし学習に頼ることなく、効果的かつ適応的なコンテキスト圧縮が実現される。
SELFCOMPACTの有効性は、競争数学とエージェント検索の分野における六つの異なるベンチマークと、七つの異なるモデルを用いて広範に検証された。その結果、本手法はトークンコストを大幅に削減しつつ、固定間隔で要約を行う既存手法と同等、あるいはそれ以上の性能を発揮することが示された。具体的には、非要約のベースラインと比較して、数学タスクでは最大18.1ポイント、エージェント検索タスクでは5～9ポイントの性能向上が確認された。また、質問ごとの処理コストは30%から70%削減されることが明らかになった。研究では、訓練を受けていないモデルが自身のコンテキストの陳腐化を信頼性高く判断できない「メタ認知ギャップ」の存在が指摘されており、このギャップを軽量なルーブリックが埋め合わせ、訓練なしで圧縮の最適なタイミングを供給する能力として再構築できる可能性が示唆された。
参考: Apple ML Research (アーカイブ) — 2026年10月12日 09:00 (JST)