論文公開サイトarXiv cs.LGは2026年10月29日(現地時間)、ニコラ・デュフール (Nicolas Dufour) 氏らが、事前学習済み言語モデルに関する「ニューラル・シケッツ (Neural Thickets)」仮説の再検討を提唱する研究論文を発表したと報じた。同仮説が主張する重み空間における幾何学的説明によらず、出力の多様性や選択、投票といったメカニズムによって同様の性能向上が得られる可能性を示唆している。
デュフール氏らは、ニューラル・シケッツ (Neural Thickets) 仮説で報告された性能向上を再現する一方で、その根拠となる幾何学的説明が必ずしも必要ではないことを指摘した。研究では、単一のデコーダーブロックに摂動を加えるだけで性能改善の多くが回復するほか、モデルを完全に凍結した状態で出力ロジットにランダムなバイアスを追加する方法でも、ほとんどの推論タスクにおいてフル重み摂動と同等かそれ以上の改善が得られることを示した。
この結果から、著者らはパーターブ・セレクト・ボート (Perturb-Select-Vote、以下PSV) という代替説明を形式化した。PSVは、摂動を伴う予測器を生成し、小さな検証セットで高性能なメンバーを選択し、それらの予測を集約する汎用的な手順である。この解釈は、ニューラル・シケッツを既存の推論時手法（サンプリング、自己整合性、検証器ガイド選択など）に接続するものと位置付けられる。
さらに一次解析では、小さな重み摂動が主にそれによって誘発されるロジットシフトを通じて作用することが明らかになった。この分析を視覚分野にも拡張したところ、ロジットPSV (Logit PSV)は、地球観測を含むドメインシフト下で性能を大幅に向上させ、フル重み摂動が追加的なメリットをほとんど提供しないことを示した。これらの結果は、重み空間の近傍エキスパートに起因するとされる利得が、出力の多様性、選択、投票によっても得られることを示唆している。
参考: arXiv cs.LG — 2026年10月30日 02:59 (JST)