arXivは2026年10月30日(現地時間)、決定推論の高速化に関する研究論文「Flide: Accelerating Decision Inference with Exact State Forking」を公開した。この論文では、大規模言語モデル (LLM) エージェントシステム向けの新しい推論エンジン「Flide」が提案されており、既存のエンジンが抱えるオーバーヘッドや出力確率の歪みといった課題に対処する。Flideは、決定モデルのクエリ応答時間を最大9.5倍改善するとされる。
提案されたFlideは、決定リクエストの論理ツリー構造を、単一の平坦化されたトークンストリーム内での物理実行から分離する効率的かつ正確な推論エンジンである。既存の生成指向型推論エンジンは、LLMエージェントシステムにおけるJevのような決定モデルのワークロードを効果的にサポートできず、重度のプレフィックス再計算オーバーヘッドや出力確率の歪みに悩まされていた。
FlideはForkAttentionを通じて、GPU常駐型インデックスを使用し、標準的なアテンション層とリカレントなGated DeltaNet層の両方でリクエストの依存関係をナビゲートする。これにより、厳密な算術において、すべてのクエリ分岐が独立した順方向パスと同一に評価されることが保証される。分岐トポロジーをGPU常駐型メタデータで直接表現することで、Flideは事前に記録された実行グラフのコンパクトなセットで多様なリクエスト混合に対応し、拡張されたエージェント履歴が以前のパスで保存されたチェックポイントから再開できるようにする。
公開されているハイブリッドモデルおよび決定モデルに対する広範な評価では、FlideがvLLMおよびSGLangと比較してクエリ応答を最大9.5倍高速化することが実証された。また、全変動距離においてfloat32リファレンスに最も近い状態を維持する。Flideは物理実行のスループットと数学的正確性を統合することで、エージェントシステムにおけるスケーラブルでレイテンシーが重要な決定インテリジェンスの原則に基づいた基盤を確立する。
参考: arXiv cs.CL (アーカイブ) — 2026年10月31日 02:59 (JST)
原文ハイライト"Flide answers queries up to 9.5 times faster than vLLM and SGLang"