arXiv cs.CLが2026年7月22日(現地時間)付けで報じたところによると、大規模言語モデル (LLM) と小規模言語モデル (SLM) の協調推論フレームワーク「PyroDash」が発表された。このフレームワークは、LLMの持つ高い推論能力とSLMの低コストという利点を組み合わせることで、推論コストを削減しつつ精度を維持、または向上させることを目的としている。PyroDashはトークンレベルでのSLM-LLM連携を通じて、SLMがアシスタンスを要求するかを判断し、Collaborate Engineを介してLLMに処理をオフロードする仕組みを持つ。
PyroDashは、SLMにポリシーを内蔵させることで、別途ルーターやLLMの再訓練、LLMのロジットへのアクセスを不要としている。SLMの訓練は、制御トークン埋め込み学習、オフロード指向の教師ありファインチューニング、Group Relative Policy Optimizationを用いたコスト意識型アラインメントという3段階で構成される。
このフレームワークでは、応答精度とLLMのみでの推論で正規化された推論コストのバランスが報酬として設計されている。5つの数学的推論ベンチマークにおいて、PyroDashは異なる精度とコストの動作点を実現した。
具体的には、$\lambda=0.05$の条件下では、平均精度64.04パーセントを達成し、これはLLMのみのベースラインを6.36パーセントポイント上回るもので、同時にコストを20.4パーセント削減した。また、$\lambda=0.6$の条件下では、精度54.55パーセントを達成し、LLMトークン比率は1.90パーセント、1例あたりのLLM呼び出し回数は0.012回に抑えられ、総コストはUSD 49.36からUSD 1.78へと削減された。これらの結果は、学習されたトークンレベルのハンドオフが、LLMの使用を減らしつつ高い推論性能を保持できることを示している。
参考: arXiv cs.CL (アーカイブ) — 2026年7月23日 01:14 (JST)
原文ハイライト"learned token-level handoffs can reduce LLM use while preserving strong reasoning performance."