Simon Willison's Weblogは11月3日(現地時間)、同氏のラップトップ上で動作するQwen 3.8 27Bモデルが、ニューラルネットワークの重みを直接解釈・変更する「Weight-Space Programming」の概念を検証し、重みの識別が可能であったことを報じた。この概念は、リキヤ・タケヒ (Rikiya Takehi) 氏らが発表した研究で最先端のGPT-6 Astraが同様の能力を示したことで注目を集めているが、Willison氏はより小型のモデルでも同様の検証が可能であることを示した。
リキヤ・タケヒ (Rikiya Takehi) 氏、ジェイデン・テオ (Jayden Teoh) 氏、アレックス・チャン (Alex Zhang) 氏、オマール・ハタブ (Omar Khattab) 氏による論文Sparks of Weight-Space Programming: LLMs can natively read & write neural network weightsでは、GPT-6 Astraが機械学習モデルの重み（フロート型数値のテキスト記述）を解釈し、修正する能力を持つとされた。この研究は、大規模言語モデル (LLM) がモデルの重みを分析・修正するプロセスをWeight-Space Programmingと定義している。
同論文によれば、GPT-6 Astraは重みを見るだけでネットワークの学習内容を識別でき、トレーニングループなしでゲームプレイネットワークを構築できるという。また、Qwen3.5-0.8Bモデルの数学能力を改善する実験では、Astraが重み中の問題を特定し、0.016%の重みを編集することでMATH-500スコアを7.9%から48.1%に向上させ、IFEvalスコアも3倍に改善したと報告されている。
Simon Willison氏は、上記研究で提示されたゲームプレイネットワークの重み解釈の例をQwen 3.8 27Bで試行した。Breakout、Pong、Pac-Manの重みを与えたところ、Qwen 3.8 27Bはそれぞれを正確に識別した。ただし、Freewayの重み解釈は失敗したことを報告している。また、別のモデルであるKimi K3.1 ProもBreakoutの識別に成功した。
Willison氏は、スパシー (spaCy) のマシュー・ホニバル (Matthew Honnibal) 氏やショーン・ゲーデケ (Sean Goedecke) 氏らの指摘を引き合いに出し、この研究が持つ意味合いについては、一部の過剰な解釈に対して懐疑的な見方を示している。Willison氏は、ソースコードの時代が終わり、理解不能な方法でモデルが自身の重みを編集する未来といった見方には同意しないとしている。
参考: Simon Willison’s Weblog — 2026年11月4日 01:29 (JST)
原文ハイライト"Qwen 3.8 27B on my laptop can interpret model weights, too"