研究論文投稿サイトarXivは2026年10月7日(現地時間)、大規模言語モデル（LLM）のコンテキスト圧縮における新たな手法に関する論文を公開した。同論文は、Mambaステートスペースモデル（SSM）を基盤とする「ボア・コンプレッサー (Boa Compressor)」を提案。これにより、コンテキストを線形時間で圧縮し、既存のTransformerベースの実装と比較して一桁高速な処理を実現できると報告している。
大規模言語モデル（LLM）は、処理対象となるコンテキストサイズが大きくなるにつれて、計算リソースとメモリ使用量が大幅に増加するという課題に直面している。従来のソフトプロンプト圧縮手法は、通常、ターゲットLLMと同じTransformerバックボーンを用いて圧縮表現を生成するため、大きなレイテンシオーバーヘッドが発生していた。
この問題により、これらの手法はコンテキストを一度圧縮し、その圧縮表現を多くのクエリで再利用するオフライン設定での利用に限られていた。対照的に、本論文で提案されている「ボア・コンプレッサー」は、オンラインでの効率的な利用を可能にすることを目的としている。
ボア・コンプレッサーは、Mambaステートスペースモデル（SSM）を基盤に構築されたプラグアンドプレイ型のシステムとして機能する。このシステムは、任意の長さのコンテキストを単一の線形時間パスでエンコードし、その結果生成される圧縮表現は、凍結されたターゲットLLMに条件付けを行う。
SSMは、フルコンテキストを処理するLLM（教師モデル）の次トークンlogit分布を、圧縮表現を処理するLLM（生徒モデル）に一致させる蒸留プロセスによって訓練される。この訓練方法により、圧縮された短い表現でも元のモデルの性能を維持することを目指している。
性能面では、同等の圧縮率において、ボア・コンプレッサーは既存の最先端オフライン圧縮ベースラインの性能に匹敵するか、またはそれを凌駕する結果を示している。さらに、Transformerベースの既存実装と比較して一桁高速な処理が可能であり、圧縮による追加のオーバーヘッドなしにエンドツーエンドのレイテンシを削減できる。
論文では、ボア・コンプレッサーがより長いコンテキストや、16倍といった積極的な圧縮率にも良好に対応できることが実証されている。この技術は、推論時にあらゆるクエリで実行できるほど効率的かつ効果的な圧縮を可能にし、長文コンテキスト推論を実現する実用的な汎用ツールとしての活用が期待されている。
参考: arXiv cs.CL — 2026年10月27日 13:00 (JST)
原文ハイライト"Linear-Time Context Compression with State-Space Encoding"