arXiv cs.AIは2026年5月17日(現地時間)、「Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy」と題された論文を公開しました。この論文によると、大規模言語モデル (LLM) はベンチマークで高い精度を示すにもかかわらず、質問の言い回しがわずかに変わるだけで回答が不安定になる傾向があることが指摘されています。Kazem Faghih氏らが発表した本研究は、従来の精度指標だけではLLMが知識を適用する際の信頼性を十分に評価できない可能性を示唆し、新たな評価軸の重要性を強調しています。
本論文Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracyは、意味を保持するパラフレーズ（言い換え）が、LLMの事実質問応答および数学的推論タスクの回答に与える影響を分析しました。Kazem Faghih氏を含む著者らは、4つのベンチマークと13のモデルを対象に調査を実施し、モデルの出力がプロンプトの厳密な文言に大きく依存することを明らかにしています。
調査の結果、全体的な精度はパラフレーズ間でわずかな変化にとどまるものの、個々の質問レベルではLLMの動作が著しく不安定であることが判明しました。多くの質問において、モデルは表現のわずかな違いによって正解と不正解を交互に返し、不一致率が23%を超える場合がありました。特に、元の形式で正しく回答された質問に限定した場合、回答が反転する「アンサーフリップ率」はさらに高くなり、単一のプロンプトに対する正答率がLLMの信頼性を示す指標としては不十分である可能性が示唆されています。
一方で、本研究はLLMが質問の少なくとも1つのパラフレーズに対しては正解を生成することが多い点も指摘しています。これは、モデルが基礎となる知識自体は保持しているものの、その知識を不整合な形で引き出している可能性を示唆するものです。この観察に基づき、論文は単純な自己パラフレーズ戦略を用いることで、潜在的な知識を部分的に回復し、推論時のパフォーマンスを向上させることができると結論付けています。これらの発見は、標準的な精度指標だけではLLMの不安定性を隠蔽する可能性があると指摘しており、同等の入力に対する一貫性を評価することが、LLMの信頼性をより明確に把握するために重要であるとの見方を示しています。
参考: arXiv cs.AI (アーカイブ) — 2026年7月28日 13:00 (JST)