arXiv cs.CLは2026年11月12日(現地時間)、Soheil Abbasloo氏とPeng Cheng氏が執筆した論文「Benchmarks Don't Talk Back: Learning Through Self-Disagreement」を公開しました。同論文は、言語モデルが自らの誤りを修正する新たな学習手法「Self-Disagreement」を提案。モデルが主張を立て、その主張に対する強力な反論を生成し、その妥当性を評価することで学習を進めます。これにより、従来の単なる正確性評価を超え、モデルがいつ自身の立場を保持し、いつより良い立場に譲るべきかを見極める「dialectical competence」(弁証法的能力)の重要性を強調しています。
現在の言語モデルの評価は、多くの場合、与えられた質問に対する単一の解答の正確性に焦点を当てています。しかし、現実世界でのモデル運用において、その解答が異議を唱えられたり、モデルが誤った反論に屈して正しい解答を放棄したりする状況が頻繁に発生します。本研究では、この問題は単なる正確性の不足に起因するのではなく、自身の立場を堅持すべき時と、より優れた立場を受け入れるべき時を見極める、いわゆるdialectical competenceの欠如が根本的な原因であると指摘しています。
Soheil Abbasloo氏とPeng Cheng氏が提案するSelf-Disagreementによる学習では、モデルが提示した初期の立場に対し、モデル自身がその立場に対する最も強力な反論を能動的に生成します。この反論の生成は、モデルの論理的思考と批判的評価能力を訓練する上で不可欠なステップです。その後、生成された反論がどれほど妥当であるかをモデルが自律的に判断し、その判断結果に基づいて学習を進行させます。
この学習プロセスの最大の特徴は、外部からの介入が一切不要である点にあります。具体的には、学習時または展開時に別のモデルを必要とせず、報酬モデル、選好データ、あるいは人間によるアノテーションは一切介入しません。モデルが自律的に反論を生成し、自己評価を行うことで、より効率的かつスケーラブルな学習が実現されます。
論文によると、この弁証法的能力は、ベースとなるモデルでは初期段階では弱いものの、報酬学習(reinforcement learning)を通じて訓練されることで著しく向上することが示されています。重要な点は、この能力の向上は、最初の解答の正確性を犠牲にすることなく達成されるという点です。さらに、この手法で訓練されたモデルは、訓練時に対峙しなかった、あるいは自身よりも強力な能力を持つ挑戦者に対しても、その弁証法的能力を発揮することが実験によって示唆されています。これにより、未知の状況やより高度な議論においても、モデルが適切に対応できる可能性が示されています。
参考: arXiv cs.CL (アーカイブ) — 2026年11月16日 14:00 (JST)