arXiv cs.CL は2026年9月30日(現地時間)、Thomas Serval氏による大規模言語モデル（LLM）の長期的な信頼性およびコンテキスト注入の影響に関する研究論文を公開した。この研究は、LLMの長期間にわたる性能低下を、重複認識、ローカル処理、カウンター追跡という三つの主要な要素に分類。Qwen3-8Bモデルを用いた400ステップの台帳タスクにより、各要素の詳細な評価を実施した。
Thomas Serval氏の研究論文は、大規模言語モデル（LLM）の長期的な性能低下とその根本原因の特定に焦点を当てている。LLMが自身の生成した応答をコンテキストに再注入する400ステップの台帳タスクが設計され、Qwen3-8Bモデル（20シード）で検証が行われた。
主要な結果として、LLMが以前の情報を記憶し、重複を避ける能力である重複認識において、エピソードの後半（ステップ200以降）でエラー率が顕著に増加することが明らかになった。この増加はステップ200以降で0.0019から0.011/ステップと定量化され、長距離リコールエラーと誤検知の複合的な増加に起因すると示唆されている。これは、LLMが長期的なコンテキストを維持する上で直面する課題を浮き彫りにする。
一方で、シーケンス内の項目を数える能力であるカウンター追跡タスクでは、LLMは8,000ステップにわたってエラーなく機能した。また、特定の情報を処理する能力であるローカル処理に関しても、タスク全体を通じてその安定性が確認された。これらの結果は、LLMの異なる能力が長期的なタスクにおいて異なる耐久性を持つことを示唆している。
さらに、各ステップの前に無関係なコンテンツのブロックを挿入した場合の頑健性も評価された。この条件下では、カウンター追跡タスクは20シード中すべてで失敗し、外部からのノイズがLLMの特定の機能に壊滅的な影響を与える可能性が示された。これに対し、ローカル処理に対する無関係なコンテンツの影響は小さく、無関係なコンテンツがない場合と区別できない水準であり、ローカル処理の頑健性が示唆される。このことは、LLMが局所的なタスクを処理する能力が、全体的なコンテキストの乱れに対して比較的耐性があることを示唆する。
追跡調査では、カウンターの値が応答履歴内の値に強く依存していることが判明し、一度破損した値は修正されずに持続する傾向があると指摘された。しかし、各メッセージの前に正確な外部リマインダーが繰り返されると、カウンターは1〜2ステップという短期間で再調整されることが確認された。さらに、無関係なブロックが存在する状況下でも、オラクルによって外部から正確でコンパクトな状態のリマインダーが供給された場合、カウンターエラーは全く観察されなかった（20シード中0エラー）。これらの発見は、外部からの適切な補助がLLMの長期的な性能を大きく改善する可能性を示唆する。
参考: arXiv cs.CL — 2026年10月16日 13:00 (JST)
原文ハイライト"separating duplicate recognition, local processing, and counter tracking"