arXiv cs.CLは2026年9月30日(現地時間)、大規模言語モデル（LLM）のモデル融合を評価する新たなベンチマーク「FusionEval」を発表しました。このベンチマークは、複数の専門モデルの能力を単一モデルに統合するモデル融合の評価を目的としています。既存の評価が限定的であった思考連鎖推論やツール使用の側面を新たにカバーし、制御されたエキスパートプールと統一された評価スイートを提供。追加トレーニングの有無にかかわらず、多様な融合手法の分析を可能にします。これにより、モデル融合研究の進展に貢献することが期待されます。
Shuo Cai氏らが主導するこの研究は、既存のモデル融合評価が抱える課題を指摘しています。具体的には、長い思考連鎖を伴う推論やツール使用の網羅性が低いこと、また、平均性能の高さが個々の専門能力の著しい低下を隠蔽する可能性です。
FusionEvalはこれらの課題に対処するため、数学、コード、科学、指示追従、ツール使用といった分野のドメインエキスパートを擁する、制御されたエキスパートプールを構築しました。これらはQwen3およびLlamaベースモデルから独立してトレーニングされています。評価スイートでは、能力保持と計算コストを8つの公開ベンチマークで測定し、正規化された平均および最悪の性能、ランタイム、ピークGPUメモリ使用量を報告します。このベンチマークの導入は、モデル融合研究における課題の特定と解決に貢献すると期待されます。
広範な実験の結果、トレーニング不要な手法は推論性能を維持する一方で、両方のモデルスケールでツール使用能力を大幅に低下させることが示されました。これは、単に複数のモデルを組み合わせるだけでは、複雑なタスクにおけるLLMの能力を十分に引き出せないことを示唆しています。対照的に、MOPDと呼ばれる手法はツール使用を保持し、よりバランスの取れた能力プロファイルを達成するものの、追加のデータ準備、推論、トレーニングが必要となることが観察されています。この結果は、高性能なモデル融合には相応の計算資源と時間が必要であることを浮き彫りにします。
本研究は、低計算コストで推論、指示追従、ツール使用の能力を同時に保持することが依然として解決すべき課題であることを示しています。FusionEvalは、専門能力を共同で保持する効率的なモデル融合に関する将来の研究を支援することを目的としています。研究チームは、このベンチマークがモデル融合の新たなフロンティアを切り開き、より堅牢で多機能なLLMの開発に貢献することを期待しています。関連するコードは公開リポジトリにて提供されており、研究コミュニティがFusionEvalを活用し、モデル融合技術の進展に寄与することが見込まれます。
参考: arXiv cs.CL — 2026年10月23日 13:00 (JST)
原文ハイライト"Extensive experiments show that training-free methods preserve reasoning performance"