チェン・シュー氏らは2026年8月20日(現地時間)、オンライン学術論文リポジトリarXivに「Phantom Gains: Auditing Self-Improvement Against a Measured Null」と題する論文を発表した。言語モデルの自己改善評価において、平均精度ではなく個々の問題の獲得・喪失で判断される傾向があるが、この評価方法が測定アーティファクトに脆弱であることを指摘。未訓練モデルに能力変化を誤って検出する問題などを明らかにした。
論文では、Qwen3-8Bモデルにランク-32 LoRAを用いた3ラウンドの自己学習を実施し、同一パイプラインを通したフリーズされたコントロールモデルと比較監査した。その結果、7つの測定失敗を特定し、コントロールがない場合には報告された知見を逆転させるものがあることを指摘した。
具体的には、単一の貪欲なデコードに基づく台帳が、主に推論バッチ処理のアーティファクトにより、未訓練モデルに能力変化を製造する現象を確認した。また、獲得とシャープニングを分離する拡張統計が、その未訓練モデルに0.280というレートを割り当てることも示した。さらに、自然な閾値修復は複製に耐えず、フリーズされた比較全体で推定してもそのヌルが非ゼロの状態を維持することが判明した。
研究チームは、これらの問題を解決するため、偽発見率制御下のプールされたベースラインに対する問題ごとの厳密なテストを提案した。このテストは、ホールドアウトされた複製では何も検出せず、多重比較補正ルール、エラーレート、プールサイズの影響を受けないことを確認した。
監査の結果、外部蒸留はベースモデルがまれにしか到達しない問題を改善する一方で、3種類の自己学習には同様の効果が見られないことが示された。回帰分析はこの非対称性が蒸留の全体的な利得の副産物ではないことを強く示唆している（p < 10^-8）。また、自己学習はベースラインで解決済みの問題を、測定されたフロアをはるかに上回るレートで破損させる傾向があることも明らかになった。このことから、遷移レベルの監査には、報告するすべての統計に対して個別に測定されたヌルが必要であり、これは新しい実験を必要とせず、マルチアーム研究が既に持つベースライン複製から構築できると結論付けられている。
参考: arXiv cs.AI (アーカイブ) — 2026年8月21日 02:30 (JST)