arXiv cs.AIは10月7日(現地時間)、Daniel Robert Kling Alexander氏とCatherine Louise Kling氏が執筆した論文を公開した。同論文は、大規模言語モデル (LLM) の評価において、客観的な「正解」が存在しない課題に対し、経済学の「表明選好 (Stated-preference)」フレームワークが有効な評価手法となる可能性を示唆している。このフレームワークは、真の価値が不明な状況下でも調査回答の妥当性を評価する枠組みを提供し、LLMの汎用性と信頼性の向上に貢献すると期待される。
大規模言語モデル (LLM) が対応を求められる質問の多くは、政策の価値判断、ユーザーにとって最適な選択肢の選定、あるいは競合する価値観の優先順位付けなど、客観的な唯一の「正解」が存在しない性質を持つと指摘されている。このような課題は、経済学の表明選好研究が数十年にわたり直面し、解決策を模索してきた問題と共通している。
表明選好経済学は、市場が存在しない財やサービスの価値を評価する際に、人々が表明する選好（例：環境改善に対する支払い意思額）を分析する手法である。この分野は、真の価値が不明な状況下で調査回答の質を評価するための堅固な枠組みを構築してきた実績を持つ。具体的には、内容妥当性、構成概念妥当性、基準妥当性、信頼性、誘因両立性、結果妥当性といった多角的な概念から成り立ち、質問設計からデータ分析に至るまで、回答の信頼性と有用性を確保する手法を確立している。
論文は、この表明選好経済学の評価フレームワークが、LLMの評価においても一般的な手法として適用可能であると主張している。さらに、これらの妥当性概念がLLMの応答を評価する際に何を意味し、どのように測定できるかを提示する。例えば、内容妥当性はLLMの回答が質問の意図を正確に反映しているかを、構成概念妥当性は回答が理論的に期待される概念や特性と一致するかを、基準妥当性は外部の客観的な基準との相関関係を、それぞれ評価する指針となる。
実証研究として、論文は公表されている水質に関する表明選好経済評価調査（Vossler et al. 2023）を引用し、これを6つの異なるLLMに適用した。経済学的な応用における妥当性テストは、需要曲線が下降することや、支払い意思額が財の範囲や世帯収入といった要因に適切に反応することといった、経済理論から導かれる予測に基づいている。この検証は、LLMの回答がこれらの理論的予測とどの程度一致するかを確認するものである。
テストの結果、モデル間で明確な差異が観察された。比較的古い世代の2つのモデルは、世帯収入75,000ドルという基本的な支払い意思額テストにおいて一貫性の欠如を示し、不合格となった。対照的に、最新世代の2つのモデルは、評価可能な全ての理論的妥当性テストに合格する高い性能を示した。しかし、これらの最新モデル間でも、収束的妥当性、すなわち異なる測定方法が同じ構成概念を評価する際に一貫した結果を示すかという点では差異が見られた。
論文は最終的に、妥当性テストに合格することは、LLMの回答が内部的に一貫しており、経済理論の予測に沿っていることを示唆するものであり、その回答が絶対的に「正しい」ことを保証するものではないと結論付けている。これは、正解が存在しない領域におけるLLM評価の難しさと、表明選好フレームワークが提供する真の価値を知らなくても妥当性を評価するという独自のアプローチの意義を示すものとなっている。
参考: arXiv cs.AI — 2026年10月8日 02:51 (JST)
原文ハイライト"What Stated-Preference Economics Offers the Evaluation of Language Models"