Appleは2026年11月(現地時間)、長いコンテキストからの情報検索を大幅に効率化する新手法「Weighted State Souping(ウェイテッド・ステート・スーピング)」に関する研究論文を公開した。この研究は、「人工知能システム向けのパーソナライズされ、整合性のとれた長期記憶に関するワークショップ (PALM)」で採択され、ニューラル情報処理システムに関する国際会議「NeurIPS 2026」で開催された同ワークショップで発表された。
この研究は、高速な推論と固定サイズのステートを持つステート空間モデル(SSMs)が抱える課題に対処する。SSMsは言語モデリングにおいて優れた性能を発揮するものの、長い、混雑したコンテキストにおいてはその性能が低下するという問題があった。
従来のstate soupingは、SSMが文書やツール定義、記憶記録などのトークンの塊を独立してエンコードし、生成されたステートエンコーディングをキャッシュして再結合することで、下流のクエリに対するコンテキストを低コストで構築する手法である。しかし、この従来のstate soupingも、バニラSSMsと同様に、長いコンテキストでの利用は限定的であった。
Appleが提案するWeighted State Soupingは、キャッシュされたステートを構成するためにクエリ依存の重みを学習するというシンプルな手法を採用している。これにより、単一および複数ホップの文書質問応答、needle-in-a-haystack検索、変数追跡、ツール使用といった多岐にわたるタスクにおいて、長文コンテキストでの性能が大幅に向上することが示されている。この手法は、効率的な疎なバリアントにも適応可能であり、コンテキスト長に対してほぼ一定のエンコードコストで性能を維持、あるいは向上させることが可能だとしている。
本研究では、state soupingが機能する理由と、それが失敗する可能性のある状況を説明する単純な理論的議論も提示されている。Weighted State Soupingは、再利用可能なコンテキスト表現と選択的検索を組み合わせることで、現代のエージェントワークロードを支配しつつある大規模な文書、ツール、その他の構造化コンテキストに対する言語モデリングへの効率的なアプローチを提供する。
参考: Apple ML Research (アーカイブ) — 2026年11月10日 09:00 (JST)
原文ハイライト"Weighted state souping thus combines reusable context representations with selective retrieval"