Metaは2026年11月18日、プロバイダーの容量と内部GPUにわたる非同期のLLM推論において、リクエストディスパッチを最適化する新設計「Cap-and-Track」を発表した。動的に変化するサービングフリートの規模やリクエストサイズに対応する仕組みで、論文公開プラットフォームarXiv cs.LGに同社の研究として公開された。Cap-and-Trackは既にMetaのトラフィックシェイパーに実装されているという。

Cap-and-Trackの設計は、生成出力長が予測不可能であることや、共有プロバイダープールの容量が随時変動することなど、固定ディスパッチレートを前提とした従来方式の課題に対応する。バックエンドの現在の受け入れ上限を示す信号「Refusals」を活用し、上限を超えた作業はDurable priority queuesに保持され、拒否されたリクエストは再試行される仕組みとなっている。

「Cap」は、リソースが飽和した際に長時間の待機を発生させる前に作業を拒否する、フェイルファスト型の受け入れチェックとして機能する。「Track」ディスパッチャーはこの拒否信号のみを利用し、出力長の予測やフリート全体のレート調整を行わずに容量上限を追跡・調整する。

Metaが本番環境で実施したA/Bテストでは、Cap-and-Trackを実装したシェイパーは、同量のトラフィックを処理する既存のキューベース固定レート方式と比べ、分類器の運用に必要なH100数が43%少なかった。一方、低優先度の作業はバックフィルのピーク時に待機時間が長くなる傾向が確認された。

定常容量下での実エンジンリプレイでは、Trackは測定容量を超えて調整された固定レート方式のグッドプットの1%以内に収まり、拒否率は同方式の約4分の1だった。このシェイパーは1日あたり3億件を超えるオンラインリクエストと数百テラバイト規模のメディアを処理しており、最も負荷が高い24時間では11億件のリクエストを処理したとしている。

論文は、推論エンジン内のキューをバッチを満たすのに十分な長さに保つこと、容量に基づく拒否のみでディスパッチを制御すること、ディスパッチの状態を維持すること、低優先度作業が許容できる待機時間を基準にフリート規模を決定することなどを、運用上の教訓として挙げている。


参考: arXiv cs.LG (アーカイブ) — 2026年11月19日 03:34 (JST)

原文ハイライト

"Optimizing LLM Inference Request Dispatch Across Shifting Capacity"

この記事をシェア
X はてブ LinkedIn