arXiv cs.CLは2026年11月6日(現地時間)、Osamudiamen Edogun、Joshua Obigwe、Irfan Mehmoodの研究チームによる論文を公開した。この研究は、会話型エージェントの記憶管理における「事実の圧縮（compaction）」と「検索拡張生成（retrieval-augmented generation）」の比較評価を実施したものだ。LoCoMoを用いて1,985の質問に対する回答精度を分析した結果、特定の条件下で事実の圧縮が検索拡張生成に対し優位性を示した。
この研究は、会話型エージェントが記憶すべき情報の取捨選択をどのように行うべきかという課題に焦点を当てた。検索拡張生成がトランスクリプトを保持し検索するのに対し、事実の圧縮は各ターンの内容を原子的な事実として整理し、それを検索する手法を指す。
4つの比較可能なカテゴリで評価した結果、事実の圧縮は71.4パーセントのスコアを記録し、検索拡張生成の64.6パーセントを6.8ポイント（p = 5.5e-08）上回った。この際、プロンプトトークンは34パーセント削減されたと報告されている。
しかし、比較対象となる研究が除外する敵対的セット（adversarial set）を含む全5つのカテゴリで評価した場合、事実の圧縮の優位性は2.0ポイントに縮小し、統計的に有意ではなくなった。これは、ベースラインが敵対的セットで14.6ポイント先行したためだ。
研究チームは、この優位性の低下には構造があると分析している。参照回答がより多くの原文表現を要求するにつれて、事実の圧縮の優位性は減少した。1〜2語の参照語では9.6ポイント先行したが、8語を超えると3.1ポイント後れを取った。これは、事実の圧縮が「事実が主張する内容」を保持し、「その表現方法」を破棄するため、回答が値である場合に優位であり、言い回しである場合に劣るという特性を示唆している。研究ではまた、4つのネガティブ結果と、そのパワー計算も報告されている。
参考: arXiv cs.CL (アーカイブ) — 2026年11月7日 02:56 (JST)
原文ハイライト"a paired evaluation against retrieval-augmented generation"