Apple ML Researchは2026年7月23日(現地時間)、大規模言語モデル (LLM) の長時間にわたる推論の不安定性を解決する新手法「Lookahead-Enhanced Atomic Decomposition (LEAD)」を発表した。高レベルの戦略が与えられても不安定さが残るLLMの課題に対し、分解が安定性に不可欠である一方で、極端な分解が「no-recovery bottleneck (回復不能なボトルネック)」を生み出すことを指摘。LEADはこの問題に対処するため、短期的な将来検証と重複するロールアウト集約を統合する。
大規模言語モデル (LLM) が長時間にわたる推論を実行する際、高レベルの戦略が与えられてもその結果は不安定である。Apple ML Research の評価では、制御されたアルゴリズムパズルにおいて、タスクの分解が安定性には不可欠であるものの、極端な分解が『no-recovery bottleneck』と呼ばれる回復不能な状態を生み出すことが判明した。
このボトルネックは、エラー分布が極めて非均一であるために深刻化する。少数の『困難な』ステップで発生する一貫したエラーが、その後の推論プロセスにおいて修正不可能となる。提案されたLookahead-Enhanced Atomic Decomposition (LEAD) は、短期的な将来検証と重複するロールアウトの集約を統合することで、この問題に対処する。
LEADは、安定性を維持するために十分な隔離を提供すると同時に、エラーを修正するための十分な局所的コンテキストを保持する。具体的な成果として、LEADを適用したo4-miniモデルは、チェッカーズジャンピングにおいて複雑度n=13までの問題を解決することに成功した。これに対し、従来の極端な分解手法ではn=11を超えると問題解決に失敗していた。本研究の著者にはDenys Pushkin氏とEmmanuel Abbé氏が名を連ね、両氏はEPFLに所属する。
参考: Apple ML Research (アーカイブ) — 2026年7月24日 09:00 (JST)
原文ハイライト"LEAD: Breaking the No-Recovery Bottleneck in Long-Horizon Reasoning"