アーカイブ (arXiv) は11月6日(現地時間)、研究論文を公開し、ノンオートレグレッシブ意思決定モデル「Laya (Laya)」において、多肢選択問題の選択肢の提示順序がモデルの回答に大きな影響を与えることを発表した。Mohammed Nayeem Khan氏とLogesh L氏による「Maya a1」と題されたこの論文は、モデルのチェックポイントを再構築し、951のQwen検証済み質問を用いて順序の影響を詳細に調査。その結果、全質問の25.8%で回答が変化することが確認された。
アーカイブ (arXiv) に公開された研究論文「Maya a1」は、ノンオートレグレッシブ意思決定モデルであるLaya (Laya) モデルの順序感度に焦点を当てている。特に、多肢選択問題において選択肢の提示順序がモデルの回答に与える影響を定量的に分析した。本研究では、Layaモデルの421Mパラメータを持つチェックポイントが使用され、選択肢の順序が回答にどのように作用するかを明らかにするため、広範な実験が行われた。
951の質問からなるデータセットに対し、選択肢の循環的回転やランダムな順列が適用された。その結果、全体の25.8%の質問でモデルの回答が変化することが判明した。さらに、英語項目のみに限定した605の質問では、19.7%で回答が変化した。特に注目すべきは、正解となる選択肢が最初に提示された場合と最後に提示された場合とを比較すると、モデルの精度に10.1ポイントもの差が生じた点である。この回答の変化は、モデルがもともと確信度が低い質問において、より顕著に集中して発生していることが示されている。
研究者らは、この順序感度を低減するためのいくつかの手法を提案している。その一つとして、Layaのトレーナーを用いたファインチューニングが挙げられる。具体的には、2,818行の教師検証済みデータセットと選択肢シャッフルを併用したファインチューニングを実施した。このアプローチにより、モデルの回答変化率（フリップ率）は7.2%まで大幅に削減された。比較として、選択肢シャッフルなしで同一データを用いてファインチューニングを行った場合では、フリップ率は11.4%にとどまっており、選択肢シャッフルが改善に4.2ポイント貢献していることが明確に示された。
さらに、著者らが提供するパラレルレイアウト（parallel layout）を用いて同じデータでファインチューニングを実施した場合、フリップ率は0.5%まで劇的に低減した。これは順序感度に対する非常に効果的な対策となることを示唆している。
また、論文では順序付けに対する確信度加重投票（confidence-weighted vote）についても言及している。この手法は、単一のベースパスと比較して約4.1倍の計算コストを要するものの、モデルの精度を69.1%から69.7%へと向上させることが確認された。これらの結果は、モデルの意思決定プロセスにおける順序バイアスの存在と、それを軽減するための実用的なアプローチを示している。
参考: arXiv cs.AI (アーカイブ) — 2026年11月7日 02:54 (JST)