arXiv cs.CLが2026年10月30日(現地時間)付けで報じたところによると、Yanran Wu氏を含む研究者らが、DecisionRankと呼ぶ新しい決定モデル再ランク付け手法を発表した。これは、生成型大規模言語モデル（LLM）のランキング知識を決定モデルに転送する際の課題を解決し、項目空間オンポリシー蒸留（item-space on-policy distillation, OPD）を通じて訓練される。
決定モデルは、選択やスコアを直接予測することで構造化タスクに対応し、自己回帰型デコーディングによる遅延を回避する。しかし、生成型LLMのランキング知識を決定モデルに転送する際には課題があった。教師モデルがドキュメントIDシーケンスのランク付けリストで選好を表現する一方、生徒モデルは最初のトークン位置からのスコアを使用してランキングを決定するためである。
このギャップを埋めるため、研究者らはitem-space OPDによって訓練されるDecisionRankを導入した。item-space OPDは、生徒モデルのドキュメントスコアをランク付けされたシーケンスにソートしてロールアウトを構築する。その結果のランキングリストを生成型教師モデルが入力として受け取り、条件付きフィードバックを提供してスコアを直接監督する。
オフラインランキング監督と組み合わせることで、DecisionRankはTREC DL、BEIR、BRIGHTといった汎用および推論集約型検索ベンチマークの両方で最先端の性能を達成している。4つのベンチマーク全体で、item-space OPDは代替の訓練目的を一貫して上回った。
DecisionRankは、1.7BパラメータでもTREC DL19-23において27Bの生成型教師モデルを凌駕する性能を示した。8Bパラメータでは、生成型リストワイズ対応モデルを上回り、TREC DLでは24.5倍、BRIGHTでは16.7倍高速に動作することが確認された。
参考: arXiv cs.CL (アーカイブ) — 2026年10月31日 02:56 (JST)
原文ハイライト"DecisionRank achieves state-of-the-art performance on both general and reasoning-intensive retrieval benchmarks"