arXiv cs.LGは8月3日(現地時間)、エッジ向け言語モデルにおける永続的なコンテキスト管理とコーパス検索に関する査読前プレプリントを公開しました。本研究は、ステートスペースモデル (SSM) の特性を利用し、プリフィルコストをO(L_context)からO(1)に削減する「プレコグ (PRECOG)」と、階層的な永続メモリシステム「構造化メモリ統合 (SMC)」を導入。エッジハードウェアでのレイテンシを大幅に改善し、実用レベルの応答性を実現できることを示しています。
本研究で提案されたプレコグ (PRECOG) は、ステートスペースモデル (SSM) に固有の特性を活用した新しい検索メカニズムです。SSMは固定サイズで位置に依存しないリカレント隠れ状態を持ち、これがモデルが読み込んだすべての情報の効率的な要約として機能します。PRECOGはこの特性を利用し、文書コーパスをオフラインでSSM隠れ状態として事前エンコードします。その後、クエリ時に最適な状態を直接注入することで、インコンテキストの再取り込みプロセス全体を回避し、推論のプリフィル処理を劇的に高速化します。
同じ状態注入メカニズムは、階層的な永続メモリシステムである構造化メモリ統合 (SMC) を可能にします。SMCは認知領域クラスタリングを備え、短期的なエピソード的状態を長期的な意味的メモリに統合し、クエリ時に取得されたコーパス状態と融合させます。SMCはO(1)のセッション初期化を特長とし、さらに忠実度（精度）とストレージのトレードオフを調整可能な機能を提供します。これは、異なる計算リソース制約を持つエッジデバイスにおいて、メモリ利用と応答性能の最適なバランスを見つける上で重要な柔軟性をもたらします。
本システムは、1.2BパラメータのゲーテッドSSM言語モデルであるTENNs-LLM上で実証されました。PRECOGは、検索拡張生成 (RAG) の回答品質を維持しつつ、エッジハードウェアでプリフィルレイテンシを約27秒から6ミリ秒未満に短縮し、約4500倍の高速化を達成しました。これにより、従来の「使用不能」な状態から「インタラクティブ」な状態へと移行し、リアルタイム性が求められるアプリケーションへの適用可能性が大きく広がります。研究者らは、このメカニズムは既存のTransformerアーキテクチャで広く用いられるKVキャッシュでは、構造的に実現不可能であると指摘しています。
近年、エッジAIの分野では、限られた計算資源下で大規模言語モデル (LLM) を動作させるための技術革新が求められています。特にTransformerベースのLLMは、コンテキスト長が増加するにつれてKVキャッシュが肥大化し、プリフィル処理のレイテンシが顕著に増加するという課題を抱えていました。SSMはそのメモリ効率とO(1)推論の特性から、この課題を克服する有力な代替手段として注目を集めています。本研究は、このSSMのポテンシャルを最大限に引き出し、エッジデバイス上でのLLMの応答性を根本的に改善するブレークスルーを示しました。
この技術は、産業用ロボットのリアルタイムな指示解釈、スマート家電やウェアラブル端末における高精度な音声アシスタント、オンデバイスでの即時的な翻訳や情報検索、または車両のリアルタイム意思決定支援など、低レイテンシと高応答性が不可欠な多岐にわたるエッジAIアプリケーションへの貢献が期待されます。デバイスの計算資源や記憶容量に応じて、最適な忠実度とストレージのバランスを調整できるSMCの特性は、多様な組み込み環境への柔軟な導入を可能にします。
参考: arXiv cs.LG (アーカイブ) — 2026年8月4日 02:43 (JST)
原文ハイライト"Structured Memory for Edge Language Models"