PyroDash、SLMとLLMの協調推論でコスト削減と高精度を両立
arXiv cs.CLが2026年7月22日(現地時間)付けで報じたところによると、大規模言語モデル (LLM) と小規模言語モデル (SLM) の協調推論フレームワーク「PyroDash」が発表された。このフレームワークは、LLMの持つ高い推論能力とSLMの低コストという利点を組み合わせることで、推論コストを削減しつつ精度を維持、または向上させることを目的としている。PyroDashはトークンレベルでのSLM-LLM連携を通じて、SLMがアシスタンスを要求するかを判断し、Collaborate Engineを介してLLMに処理をオフロードする仕組みを持つ。