ヨータム・ウルフ (Yotam Wolf) 氏、ノアム・ウィーズ (Noam Wies) 氏、アムノン・シャシュア (Amnon Shashua) 氏の研究チームは2026年7月7日(現地時間)、大規模言語モデル (LLM) におけるインコンテキスト・サーチ (in-context search) の理論的分析結果をarXivで公開した。この研究は、モデルが反復的に解決策を生成、批評、修正する同手法のサンプリング複雑性を深く考察。特に自己反射が初期の誤りを特定できる条件下で、基本モデルに対し指数関数的な性能向上が可能であることを理論的に示した。
この研究では、LLMの拡張推論によって可能になるインコンテキスト・サーチ (in-context search) を、推論トレース上の近似推論としてモデル化している。基本モデルが事前分布を定義し、自己反射が事後更新のためのフィードバックを提供すると仮定し、高い成功確率を達成するために必要な連続試行回数である推論時のサンプリング複雑性を調査した。
分析の結果、反射が初期の誤りを確実に特定できる場合、in-context searchは基本モデルに対して指数関数的な改善をもたらすことが示された。これにより、指数関数的に低いゼロショット (zero-shot) の正答率を持つ問題でも、多項式回数の連続試行で解決できる可能性がある。これは、自己修正ループが推論空間を効率的に探索し、誤りを早期に排除する能力を持つことを示唆する。一方で、この特性が失敗した場合、過去の試行に基づいた条件付けは並列サンプリングに対する漸近的な利点を提供しないことも明らかになった。これは、効果的な反射メカニズムが、in-context searchの性能向上に不可欠であることを意味する。
さらに、これらの利点は堅牢であり、学習可能であると指摘している。近似的な事後更新で十分であり、探索ロールアウトに対する交差エントロピー学習 (cross-entropy training) が、多項式標本複雑性で必要な挙動を回復する。検証可能な報酬を伴う強化学習 (reinforcement learning) の段階的抽象化の下では、最適なポリシー拡張が同じ事後再重み付けルールを実装することが示されている。本理論の主な定性的予測は、実際の大規模推論モデルで検証済みである。
この理論分析は、大規模言語モデルの推論能力を向上させるための重要な指針を提供する。in-context searchの能力が自己反射の質に強く依存するという発見は、モデルのフィードバックメカニズムの改善、特に誤り検出と修正能力の強化が、今後のLLM性能向上における重要な研究開発課題であることを示唆する。
参考: arXiv cs.AI (アーカイブ) — 2026年7月9日 13:00 (JST)