huggingface.coは2026年11月8日(現地時間)、Weight-Space Programming (WSP) に関する論文を公開した。同論文は、WSPの能力、汎化、および限界を体系的に評価したもので、16の編集経路、7つのベンチマーク、2つのモデルスケールにわたる検証結果を示している。大規模なモデルでは限定的な改善に留まり、タスク間転移の不均一性や独立した検索における大きな変動が確認された。
Weight-Space Programming (WSP) は、推論エージェントがニューラルネットワークのパラメータを直接検査および変更することを可能にする手法であり、勾配ベースのモデル適応に代わる選択肢を提供する。しかし、その能力、クロス・タスク汎化、実用的な限界については、これまで十分に理解されていなかった。
今回の研究では、16の編集経路、7つのベンチマーク、および2つの異なるモデルスケールを通じてWSPを体系的に評価した。その結果、タスク間での転移が不均一であり、独立した検索ごとに実質的な変動が見られることが示された。また、より大規模なモデルにおいては、得られる改善が限定的であることも明らかになった。
参考: huggingface.co (アーカイブ) — 2026年11月9日 03:21 (JST)
原文ハイライト"Our results show uneven cross-task transfer, substantial variation across independent searches"
この記事をシェア