Tag
3 件の関連記事
Jiwon Song、Yoongon Kim、Jae-Joon Kimらの研究チームは10月14日(現地時間)、長文コンテキストを持つ大規模言語モデル（LLM）のデコーディングを効率化する新たな疎なアテンション手法「Joint Subspace Sparse Attention (JSSA)」を発表した。この技術は、疎なアテンションが直面する選択品質と実行効率の課題を克服。実験ではフルKVアキュラシーに近い性能を維持しつつ、NVIDIA B200 GPUで最大6.43倍のデコーディングスループットを達成したと報告されている。
Mufei Li氏らは2026年6月15日(現地時間)、大規模言語モデル (LLM) のKVキャッシュにおける文脈消去を効率化する新しい学習済み手法「KVEraser」を提案する論文をarXiv cs.CLで発表した。既存の正確な消去手法では、一度処理された文脈の削除に伴い、その後の全トークンを再計算する必要があり、計算コストが削除されたスパンの長さに依存せずサフィックス長に比例するという課題があった。KVEraserは、この課題に対し、局所的な編集で効率的な性能を実現する。
arxiv.orgは6月2日(現地時間)、Lorenz K. Muller氏らが発表した論文で、大規模言語モデル (LLM) の推論タスクにおけるKV-キャッシュ量子化の新手法「KVarN」が提示されたと報じた。このキャリブレーション不要の手法は、自己回帰デコーディング中の量子化誤差蓄積を抑制する。MATH500、AIME24、HumanEvalなどの生成ベンチマークでは、2ビット精度での新たなState-of-the-Art (SOTA) を確立した。