Apple ML Researchは7月9日(現地時間)、言語モデルの長文コンテキスト処理における課題解決を目指す新フレームワーク「Self-Reflective Program Search for Long Context (SRLM)」を発表した。このフレームワークは、不確実性認識型の自己内省をプログラミングベースのコンテキストインタラクションに統合することで、長文コンテキストにおけるモデル性能向上を図る。
言語モデルにとって、拡張されたコンテキストウィンドウを持つ場合でも、長文コンテキストから情報を確実に抽出し、推論し、利用することは依然として中心的な課題となっている。Recursive Language Models (RLMs) は、推論時にプログラマティックなインタラクションを通じて長文コンテキストを再帰的なサブクエリに分解することで、この課題に取り組んできた。
SRLMは、自己矛盾、推論トレース長、口頭での信頼度という3つの内在的な信号を活用する。これらはモデルの内部的な不確実性を補完的に示す指標として機能し、モデルはこれらを用いて候補となるコンテキストインタラクションプログラムを評価し比較する。
広範な実験の結果、SRLMは多様なベンチマークデータセット、コンテキスト長、バックボーンモデルにおいて、既存の最先端ベースラインを一貫して上回ることが示された。同等の時間予算において、Recursive Language Modelsに対して最大22%の性能改善を達成している。この研究は、Recursive Language Modelsの性能向上において再帰自体が主要な要因ではなく、シンプルな自己内省型プログラム探索が自己クエリや明示的な再帰メカニズムを必要とせずにRecursive Language Modelsに匹敵またはそれを上回ることを示唆している。
また、Recursive Language Modelsはモデルのコンテキストウィンドウ内のコンテキスト長において性能が低下する傾向があり、意味的に集中的なタスクでは効果が低いことが確認された。一方、Self-Reflective Program Search for Long Contextは短いコンテキストと長いコンテキストの両方で一貫して堅牢な性能向上をもたらし、自己内省が困難な長文コンテキストシナリオにおける推論をより適切に誘導する意味的な信号を提供すると報告されている。
この研究成果は、長文コンテキスト処理における既存の主要なアプローチ、例えば大規模なコンテキストウィンドウの単純な拡張や複雑な多段推論アプローチに対し、新たな視点を提供するものと見られる。Self-Reflective Program Search for Long Contextが提唱するシンプルな自己内省型プログラム探索は、特にRetrieval-Augmented Generation (RAG) システムのような外部知識と連携するシステムにおいて、情報の正確性や信頼性を向上させる構造的含意を持つ可能性がある。開発者や実務家にとって、不確実性を認識し自己修正を行うこのアプローチは、より少ない計算リソースで複雑な長文タスクの性能を高める一助となる可能性が指摘されている。
参考: Apple ML Research — 2026年7月9日 09:00 (JST)
原文ハイライト"The Surprising Effectiveness of Self-Reflective Program Search for Long Context"