arXivは2026年10月30日(現地時間)、大規模言語モデル(LLM)システムにおけるモデル間の文脈転送に関する研究論文「ACCT: Asymmetric Cross-LLM Context Transfer」を公開した。Yuzhe Liu、Haolin Tian、Tonghan Wangの3氏が執筆したこの論文は、異なるスケールのLLM間でKVキャッシュを転送し、文脈計算の再利用を可能にすることで、推論時の計算コスト削減を目指す。ACCTはソースモデルが生成したKVキャッシュをスパースなKVステートに変換し、ターゲットモデルが元の文脈を再処理することなく利用できるようにする。
大規模言語モデルシステムでは、単一モデルの呼び出しから、異なるモデルが動的に推論に利用される異種デプロイメントへと進化が進んでいる。しかし、同じ文脈を複数のモデル間で再利用する際、新たに選択されたターゲットモデルは通常、その文脈を再度処理する必要があり、多大な計算コストが繰り返し発生していた。ACCT (Asymmetric Cross-LLM Context Transfer) は、この課題に対処するため、同じモデルファミリー内の異なるスケールのモデル間でKVキャッシュを転送することを目的としている。
ACCTは、ソースモデルによって生成されたKVキャッシュを、ターゲットモデルが直接利用可能なスパースなKVステートへと変換する。これにより、文脈計算をモデル間で再利用し、文脈計算を後続の推論から分離することが可能になる。
ACCTは以下の3つの軽量コンポーネントで構成される。一つ目のCartographerは、各ターゲットレイヤーとKVヘッドに対してクエリに関連する文脈トークンを特定する。二つ目のAllocatorは、共有される総KVバジェットの下で、各ターゲットレイヤーとKVヘッドが保持する文脈トークンの数を決定する。三つ目のCompilerは、選択されたソースKVをスパースなターゲットKVへと変換する。これにより、ターゲットモデルは元の文脈を再処理することなく、転送されたKVを用いて推論を実行できる。
研究チームはACCTを2つの補完的な設定で評価した。これには、5つの一般的な能力ベンチマークと、6つの文脈依存度の高いタスクが含まれる。実験の結果、ACCTはKVキャッシュサイズを75%削減した場合でも、ターゲットモデル本来の推論性能と同等か、それを上回ることが示された。また、約19Kトークンの文脈長において、ACCTのKV変換はターゲット文脈プリフィルと比較して6.5倍から21.2倍の高速化を達成した。これらの結果は、限られたKVバジェットの下でのモデル間における文脈計算転送の実現可能性を示している。
参考: arXiv cs.AI (アーカイブ) — 2026年10月31日 02:50 (JST)
原文ハイライト"enabling cross-model reuse of context computation and decoupling context computation from downstream inference."