Xiuyuan Qi氏らは11月4日(現地時間)、大規模言語モデル（LLM）推論の再現性を確保する新手法「BlockLock」を発表した。arXiv cs.AIが同日付けで報じた。この技術は、バッチ内の他のリクエストに左右されずに同一の出力を生成することを目的としている。共有バッチプリフィルを維持しつつ、特定の保護されたリクエストの数値パスのみを固定する方式を採用しており、既存手法が抱える課題の解決を目指す。
大規模言語モデル推論の再現性を確保するための既存アプローチには、全ての演算子に制約を課すバッチ不変カーネルや、プリフィルを固定形状デコードで分離するCoRunスタイルのベースラインなどが存在する。
しかし、これらの手法は計算リソースの共有を諦めたり、デコード処理に不必要なパディングを導入したりするといった課題を抱えていた。これにより、リソース利用効率の低下や追加のレイテンシ発生が懸念されていた。
「BlockLock」はこれらの課題に対応するため、「BlockLock-Rows」と「BlockLock-Pack」の二つのモードを提供する。「BlockLock-Rows」は固定幅の行を使用し、全ての要求のバッチデコードを維持する。一方、「BlockLock-Pack」は終端固定パッキングと分離されたダミーセグメントを使用し、保護された要求のKV（キー・バリュー）状態を抽出してターゲットのみのデコードを行う。どちらのモードも、特定の展開契約に基づき、コンパニオンリクエスト（同一バッチ内の他の要求）が変更されても、ターゲットとなる保護された要求の出力がビットワイズで保持されることを保証する。
研究チームは、Qwen3-8B/14B、Llama-3.1-8B-Instruct、Gemma-3-4B/12B-ITの計5つの大規模言語モデルと、NVIDIA A6000、A100、H100の3つの単一GPU展開環境でBlockLockの有効性を評価した。検証にはtinyBenchmarksおよびBFCLが用いられ、初期のテンソルパラレル実験も2基のNVIDIA A6000 GPUで実施された。報告されたテストでは、両モードがターゲットシーケンスとTop20-logitビットの保持に成功していることが確認された。
性能面では、同等の処理量において「BlockLock-Rows」がvLLM Batch-Invariantと比較してレイテンシを53.5〜55.0%削減し、スループットを115.2〜122.2%向上させた。これは推論効率の大幅な改善を示している。また、既存のバッチ不変カーネルと比較した場合、「BlockLock」はカスタムカーネルの実装を必要とせず、保護された要求にのみ制約を課す点が特長であり、より柔軟かつ効率的な再現性確保の手法として期待されている。
参考: arXiv cs.AI — 2026年11月6日 14:00 (JST)
原文ハイライト"Reproducible LLM Inference with Fixed Batch Geometry"