arXiv cs.AI は2026年7月14日(現地時間)、論文「Agreement Is Not Alignment: Divergent Moral Grounds in Human and LLM Ethical Judgments」を公開し、大規模言語モデル (LLM) の倫理的判断において、最終的な判断が人間と一致しても、その根拠となる道徳的原則には系統的な相違があることを指摘した。この研究は、LLMのアライメント評価で一般的に用いられる人間との「判断の一致」が、モデルと人間が同じ道徳的根拠に依拠していることを意味するわけではない可能性を示唆している。
オクタビアン・M・マキドン (Octavian M. Machidon) 氏らが執筆したこの論文は、人間とLLMが同じ判断に至る場合でも、異なる原則、文脈的仮定、または状況解釈に訴えている可能性を検証した。研究チームは500項目からなるETHICS由来のベンチマークを使用し、5つの道徳的判断領域にわたる人間のアノテーターとLLMの双方による最終ラベルと、その裏付けとなる理由 (rationales) の注釈を収集した。
フロンティアモデルとオープンモデルのファミリー全体で、人間のアノテーターの多数派ラベルとの一致はしばしば高いことが確認された。しかし、理由レベルでの詳細な分析により、人間とモデルが表明する道徳的根拠に系統的な相違があることが明らかになった。具体的には、モデルは「害 (harm)」「尊敬 (respect)」約束遵守 (promise-keeping)「正義 (justice)」「当然の報い (desert)」言い訳の関連性 (excuse relevance)といったカテゴリへの注意配分を再分配する傾向が見られた。これは、最終ラベルが人間の多数派と一致する場合でも観察された。
研究結果は、「一致 (agreement)」がアライメント (alignment)と同等に扱われるべきではないことを示している。ラベルに基づいた評価は、モデルの判断で表明される理由、原則、および道徳的優先順位の分析によって補完されない限り、誤解を招く安心感を与える可能性があると結論付けられている。この論文はAIトランスペアレンシー・カンファレンス (AITC 2026) で受理され、2026年6月5日から6日にドイツ (Germany) のニュルンベルク (Nuremberg) で発表された。
参考: arXiv cs.AI (アーカイブ) — 2026年8月15日 13:00 (JST)
原文ハイライト"Agreement Is Not Alignment: Divergent Moral Grounds in Human and LLM Ethical Judgments"