Austin Tsai、Saurav Nanda、Ganapathy Parthasarathy、Bhuvnesh Kumar、Parivesh Choudharyの研究チームは11月3日(現地時間)、arXivに提出した論文で、オープンウェイト言語モデルに「ダイレクトナッシュ最適化 (DNO)」の実践的変種である「DNO-Prct」を適用した研究成果を発表した。本研究は、Llama 3.1 8B InstructとMistral 7B Instruct v0.1モデルを対象に、GPT-4oまたは同系列のオープンウェイトモデルをアノテーターとして評価。DNO-Prctが一般的な選好とモデルを効果的に整合させ、性能を大幅に向上させる有効性を示した。
ダイレクトナッシュ最適化 (DNO) は、2プレイヤーの選好ゲームのナッシュ均衡を近似することで、言語モデルを一般的な選好関数に合わせることを目的とした手法である。今回研究対象となったその実践的変種であるDNO-Prctは、オンポリシーサンプリング、大規模言語モデル (LLM) ベースのサンプル評価、大マージン選好ペア選択、およびDPOスタイルの対照的更新を反復する。
研究チームは、AlpacaEval 2.0とGPT-4oを審査員としてDNO-Prctの性能を評価した。この評価では、Llama 3.1 8B Instructが長さ制御 (LC) 勝率において31.7%から45.3%に向上し、Mistral 7B Instruct v0.1は6.8%から18.4%に向上した。さらに、DNO-Prctでチューニングされた8Bモデルは、Llama 3.1 70B Instructの報告されているすべての勝率を上回る結果を示した。
アノテーターとしてGPT-4oの代わりに同系列のオープンウェイトモデルを使用した実験では、GPT-4oを使用した場合と比較して、Llamaで62%、Mistralで82%のLC勝率向上を維持する結果となった。これは、評価ステップにおいてプロプライエタリモデルが必須ではない可能性を示唆している。アブレーション研究では、ゴールドレスポンスの削除、データルックバックの削除、または教師が好むペアのみを受け入れるバリアントは、完全な手順よりも6〜10 LCポイント低いスコアとなった。プロンプトごとのオンポリシーサンプル数の変更（1〜7）は、LC勝率を最大2.1ポイントしか動かさず、マージンスイープ（1〜5）は最大2.4ポイントしか動かさなかった。
論文では、パイプラインのコストや、実践的アルゴリズムが近似する理論から逸脱する点も報告されている。今回の実験は2024年に実施された。
参考: arXiv cs.LG (アーカイブ) — 2026年11月4日 03:59 (JST)