Mingyang Song氏ら研究チームは2026年10月26日(現地時間)、学術誌arXiv (アーカイブ)にて、Jev-style System Oneモデルの決定構造が、大規模言語モデル (LLMs) に見られる選択バイアスの低減に寄与するかを検証する論文を発表した。同研究は、オプションの提示順序をシャッフルする単純なテストを用いて、Jevの精度変動がわずかであるにもかかわらず、累積的な失敗セットが27〜29%拡大することを示唆している。
大規模言語モデル (LLMs) において、提示順序を無視する指示や推論を促すプロンプトにもかかわらず、選択バイアスが持続する現象が指摘されている。これに対し、Jev-style System Oneの動作を再現しようとするモデル群は、提示された候補に対して直接確率を予測する手法を採用してきた。しかし、Jevバージョン、Jev再現モデル、そして生成的LLMsの間で、多肢選択タスクにおける選択バイアスの体系的な比較はこれまで限定的だった。
研究チームは、この課題に対処するため、質問と候補内容を固定したままオプションをシャッフルするテストを考案した。2つのJevバージョン、12のJev再現モデル、および6つの生成的LLMsを対象に、個々の回答を8回の提示を通じて追跡し、固定順序での繰り返しと比較した。2つのベンチマークから選定された1,700問の質問コレクションを用いた分析の結果、Jevの精度は2パーセントポイント未満の変動に留まった。
しかし、元の順序と比較すると、Jevの累積的な失敗セットは27〜29%拡大することが明らかになった。これは、初期の成功が最終的な提示まで失敗として継続することを示している。この初期の成功の喪失は、固定順序の繰り返しよりも大幅に大きく、再現性の高いJev再現モデルにおいても同様の傾向が見られた。さらに、Jevは正しい選択肢を維持する点で、LLMベースラインに対して一般的な優位性を示さなかった。
回答の集約（aggregation）による保護効果も限定的だった。投票（voting）はJevにわずかな利益をもたらしたが、満場一致の回答でさえ頻繁に誤りを含んでいた。これらの結果は、再現可能な決定と、同等の提示において正しいままである決定との間にギャップがあることを示し、安定した精度だけでは選択バイアスに対する耐性を確立できないことを示している。
参考: arXiv cs.CL (アーカイブ) — 2026年10月27日 02:48 (JST)