Apple ML Researchは2026年8月6日(現地時間)、大規模言語モデル (Large Language Models) の推論効率を向上させる新たな投機的生成フレームワーク「ARBITRAGE」を発表した。同研究は、従来の推論高速化手法である投機的デコーディング (Speculative Decoding) が抱える課題に対処し、特に推論タスクでの性能と計算コストの比率を改善する。
Arbitrage: Efficient Reasoning via Advantage-Aware Speculationと題された研究は、現代の大規模言語モデルが Chain of Thoughts を用いることで優れた推論能力を示す一方で、推論時の計算コストが高い点を指摘している。これに対し、高速だが不正確なドラフトモデルがトークンを提案し、より高性能なターゲットモデルが並行して検証する投機的デコーディングの技術が注目されてきた。
しかし、従来のトークンレベルの投機的デコーディングは、セマンティクス的に同等なステップでのトークン不一致による不必要な拒否が原因で、推論タスクにおいて課題を抱えていた。最近の研究では、ステップレベルのセマンティック検証に移行し、推論ステップ全体を承認または拒否することで効率を向上させている。
既存のステップレベル手法は、拒否された多くのステップをほとんど改善せずに再生成するため、ターゲットモデルの貴重な計算資源を無駄にしていた。この課題に対応するため、Apple ML Researchはドラフトモデルとターゲットモデルの相対的な利点に基づいて動的に生成をルーティングする、新しいステップレベルの投機的生成フレームワークである「ARBITRAGE」を提案した。
ARBITRAGEは固定の受理閾値を使用せず、ターゲットモデルがより質の高いステップを生成する可能性が高い時期を予測するために訓練された軽量なルーターを活用する。これにより、常に高品質なステップを選択する理想的な ARBITRAGE ORACLE に近い最適な効率と精度のトレードオフを実現する。複数の数学的推論ベンチマーク (mathematical reasoning benchmarks) において、ARBITRAGEは先行するステップレベルのSDベースラインを一貫して上回り、同等の精度で推論レイテンシを最大約2倍 (∼ 2×) 削減した。
参考: Apple ML Research — 2026年8月7日 09:00 (JST)
原文ハイライト"traditional token-level Speculative Decoding struggles in reasoning tasks."