arXiv cs.LGは2026年11月13日(現地時間)、大規模言語モデル(LLM)が他のニューラルネットワークのパラメータを直接操作する能力、通称「Weight-Space Programming (WSP)」を評価するための新たなベンチマーク「WeightBench」を発表した。このベンチマークは、42のWSPタスクを通じてLLMの能力を測定。フロンティアエージェントが小規模なネットワークの読み取りや制御ポリシーの記述には成功したものの、言語モデルのパッチ適用やデータなしでの圧縮、不可能な編集の区別には依然として課題が残ることを指摘している。
Weight-Space Programming (WSP)は、大規模言語モデル(LLM)が勾配降下法に依存することなく、既存のニューラルネットワークが何を学習したかを解読し、機能不全に陥ったネットワークを修復し、さらにはゼロから新しい機能を持つネットワークを構築する能力を指す。これは、従来の機械学習パラダイムとは一線を画す、LLMの新たな応用可能性を示すものとして注目されている。Aayush Marasini氏らの研究チームは、この革新的な概念を体系的に検証し、その進捗を追跡するために「WeightBench」を導入した。
WeightBenchベンチマークは、多岐にわたる42のWSPタスクで構成されており、「読み取り」「重みの修正と記述」「不可能な編集の認識」「データフリー圧縮」「不可能な編集と困難な編集の区別」という五つの主要トラックに分類される。これらのトラックは、LLMがネットワークの重みをどのように理解し、操作できるかを包括的に評価する設計となっている。評価対象となるネットワークの重みは、わずか2Kパラメータの小規模な制御ポリシーから、大規模な7Bパラメータを持つ言語モデルに至るまで、幅広い規模をカバーしている。
実施された実験の結果、最新のフロンティアエージェントが、比較的小規模なネットワークの内部状態を正確に読み取り、また、実際に実行することなく機能する制御ポリシーを記述する能力を持つことが明らかになった。しかし、より複雑なWSPタスクにおいては、依然として大きな課題が残されている。特に、既存の言語モデルにパッチを適用すること、データセットなしでのモデル圧縮、そして不可能な編集と困難な編集を明確に区別する能力は、現在のLLMにとって困難な領域であることが示された。
42の全タスクにおける評価では、主要なLLMモデルの性能が比較された。Claude Opus 5.5はマクロスコア0.535を記録し、他のモデルと比較して優れた性能を示した。これに対し、Sonnet 5.5は0.466、Haiku 5.5は0.402、DeepSeek v4-flashは0.215という結果となった。また、実行された38タスクに限定した比較では、GPT-6.1-solが0.568を達成し、Opusの0.546を上回る結果となった。
研究チームは、今回のベンチマークで用いられたコード、タスクレジストリ、OSレベルのサンドボックスハーネス、およびライブリーダーボードをGitHubで一般公開している。これにより、今後のWSP研究の進展と、より能力の高いLLMの開発が促進されることが期待される。
参考: arXiv cs.LG (アーカイブ) — 2026年11月14日 03:58 (JST)