Xiuyuan Qi氏ら、LLM推論再現性を高める新手法「BlockLock」発表
Xiuyuan Qi氏らは11月4日(現地時間)、大規模言語モデル(LLM)推論の再現性を確保する新手法「BlockLock」を発表した。arXiv cs.AIが同日付けで報じた。この技術は、バッチ内の他のリクエストに左右されずに同一の出力を生成することを目的としている。共有バッチプリフィルを維持しつつ、特定の保護されたリクエストの数値パスのみを固定する方式を採用しており、既存手法が抱える課題の解決を目指す。
Tag
1 件の関連記事