リコンテキスト (ReContext) の研究チームは2026年7月2日(現地時間)、大規模言語モデル (LLM) の長文コンテキスト推論を改善する推論手法「RECONTEXT」を発表した。この手法は、モデル内部の関連性シグナルを活用し、クエリに応じた証拠プールを構築して最終生成前にリプレイすることで、トレーニング不要で効果的なコンテキスト利用を実現する。8つの長文データセットを用いた実験では、Qwen3-4B、Qwen3-8B、Llama3-8Bといったモデルにおいて、証拠利用の一貫した改善が確認された。
大規模言語モデル (LLM) の実際のアプリケーションへの導入において、長文コンテキストの理解と推論は重要な要件となっている。近年のLLMは長文コンテキストウィンドウをサポートするものの、入力に含まれる関連性の高い証拠を効果的に利用できない課題が存在する。
RECONTEXTは、トレーニング、外部メモリ、コンテキスト剪定を必要としない推論手法として提案されている。この手法は、モデル内部の関連性シグナルを利用してクエリに応じた証拠プールを構築し、元のコンテキスト全体を保持したまま、最終生成前にその証拠をリプレイする。この再帰的な選択プロセスは、証拠の整理と回答生成を分離する。
研究チームは、RECONTEXTに関する理論的分析も提供している。この分析は、連想記憶に基づいており、コンテキストを記憶ストア、質問を検索キュー、アテンションをキューと痕跡の関連付け、リプレイを痕跡の再活性化として特徴づける。
128Kのコンテキスト長を持つ8つの長文データセットで実験が行われた。RECONTEXTは、Qwen3-4B、Qwen3-8B、Llama3-8BといったLLMにおいて、証拠利用の一貫した改善を示し、これら3つの基盤モデル全てで最高の平均ランクを達成した。関連コードはGitHubで公開されている。
参考: arXiv cs.AI (アーカイブ) — 2026年7月3日 02:59 (JST)
原文ハイライト"Recursive Evidence Replay as LLM Harness for Long-Context Reasoning (RECONTEXT), a training-free inference method"