エッジ向け言語モデル、SSM活用でプリフィル処理を4500倍高速化 O(1)永続メモリ
arXiv cs.LGは8月3日(現地時間)、エッジ向け言語モデルにおける永続的なコンテキスト管理とコーパス検索に関する査読前プレプリントを公開しました。本研究は、ステートスペースモデル (SSM) の特性を利用し、プリフィルコストをO(L_context)からO(1)に削減する「プレコグ (PRECOG)」と、階層的な永続メモリシステム「構造化メモリ統合 (SMC)」を導入。エッジハードウェアでのレイテンシを大幅に改善し、実用レベルの応答性を実現できることを示しています。