arXiv cs.AIは2026年11月19日(現地時間)付けで、テキスト生成や中間推論なしに高速かつ信頼性の高い決定を可能にする新しい決定モデル「GLiDE (グライド)」に関する論文を発表した。GLiDEはQwenハイブリッド言語モデルを基盤とし、0.4Bから27Bの幅広いパラメータサイズを持つモデルファミリーとして開発された。本モデルは、複数の教師モデルからのソフトターゲット蒸留と、多様な決定タスクでの段階的な後学習を組み合わせることで、推論能力を単一パス推論に転送する。

本研究で開発されたGLiDEは、全アテンション層から因果マスキングを削除することで、コンテキスト、質問、候補アンサー間の双方向の相互作用を可能にしている。推論時の計算量を増大させつつトークン生成を回避するため、パラメータフリーの再帰深度も組み合わせて活用される。

GLiDEは5つの異なるモデルサイズにおいて、Hugging Faceのリーダーボードの性能—パラメータのパレートフロンティアに位置するとされ、同等またはそれ以下のサイズの既存モデルを上回る性能を示している。特に27Bパラメータを持つGLiDEのモデルは、隠しセットスコア71.52、期待される較正誤差2.0%、単一GPUでの中央値遅延92.9ミリ秒を達成した。さらに、チェックポイントの平均化とパラメータフリーの再帰深度を適用したGLiDE~27Bは、スコア73.37、期待される較正誤差2.1%を記録している。論文著者はサヒブザダ・アラーヤル (Sahibzada Allahyar) 氏、ジュリア・ホワイト (Julia White) 氏、ドルーヴ・アトレジャ (Dhruv Atreja) 氏、ジョージ・ハーン=マロニー (George Hurn-Maloney) 氏、アーケイド・ザラティアナ (Urchade Zaratiana) 氏の5名である。


参考: arXiv cs.AI — 2026年11月20日 02:56 (JST)

原文ハイライト

"GLiDE enables bidirectional interactions between the context, question, and candidate answers"

この記事をシェア
X はてブ LinkedIn