長文LLMの推論における反復コピーを抑制、GEARで根拠付け強化し最大4.6ポイント改善
Lizhe Fang氏らは2026年7月21日(現地時間)、「arXiv cs.CL」において、長文コンテキストを持つ大規模言語モデル(LLM)が推論時に見せる「反復的なコピー」の課題を指摘し、これを克服する新たな手法「GEAR(Grounding Evidence-Aware Reward)」を発表しました。モデルが入力テキストを無差別にコピーする現象が、特に長いコンテキストで顕著になることを示し、その原因が不十分な根拠付けにあると分析しています。