DNO-Prct適用でLlama 3.1性能向上、言語モデルの汎用選好整合を研究
Austin Tsai、Saurav Nanda、Ganapathy Parthasarathy、Bhuvnesh Kumar、Parivesh Choudharyの研究チームは11月3日(現地時間)、arXivに提出した論文で、オープンウェイト言語モデルに「ダイレクトナッシュ最適化 (DNO)」の実践的変種である「DNO-Prct」を適用した研究成果を発表した。本研究は、Llama 3.1 8B InstructとMistral 7B Instruct v0.1モデルを対象に、GPT-4oまたは同系列のオープンウェイトモデルをアノテーターとして評価。DNO-Prctが一般的な選好とモデルを効果的に整合させ、性能を大幅に向上させる有効性を示した。