Goodfireは10月16日(現地時間)、ニューラルネットワークの多意味性（Polysemanticity）を否定する新たな理論を提唱した。同社のNick Cammarata（ニック・カマラータ）氏は、エージェント分析を深めることで、ニューラルネットワークの解釈可能性とアラインメントが向上すると主張している。これに続き、Metaは同日、総パラメータ816Bのオープンウェイトモデル「Muse Spark Open」を公開した。このモデルはテキスト、画像、動画、音声入力を処理する。
Cammarata氏が発表したエッセイNeural Networks Are Already Cleanは、これまでニューラルネットワークの理解を妨げてきた多意味性や重ね合わせ（Superposition）といった複雑な問題が、エージェント分析を通じて解消されると説く。Cammarata氏は多意味性は誤りであり、Qwen-32Bのニューロンの90%が単一の役割を担うと断言した。同氏は以前、OpenAIで機械的解釈可能性に関する初期研究に携わっていた。
MetaがリリースしたMuse Spark Openは、総パラメータ816B、アクティブパラメータ42Bの混合エキスパート（Mixture-of-Experts、MoE）モデルで、100万トークンのコンテキストウィンドウを特徴とする。このモデルは、コーディング、長期的エージェント機能、多段階推論を目的として設計された。ライセンスはMuse Model License（ミューズモデルライセンス）に基づき、年間収益2,000万ドルを超えるModel-as-a-Service事業者は別途契約が必要となる。Artificial Analysis（アーティフィシャル・アナリシス）のIntelligence Index（インテリジェンス・インデックス）では39点を獲得し、米国のオープンウェイトモデルでは首位に立ったが、GLM-5.3（45点）やKimi K3（44点）には及ばなかった。また、同インデックスの4つのエージェント評価においては、高スコアのオープンモデル中、最下位と評価された。
NVIDIAは、Nemotron 3.5 Super VLを発表した。これは、総パラメータ120B、アクティブパラメータ12BのハイブリッドMamba-Transformer MoE VLM（マンバ-トランスフォーマー MoE VLM）であり、100万トークンのコンテキストウィンドウを備えている。SWE-bench Pro（SWEベンチプロ）で51.78%のスコアを記録した。Microsoftは、約3兆パラメータを事前学習した基盤モデルMAI-Base-2を公開し、DeepSeek-V4-Pro-Base（ディープシーク・V4・プロ・ベース）と同等のコード性能を12分の1の学習計算量で達成したと報告している。
参考: Latent Space — 2026年10月16日 13:16 (JST)
原文ハイライト"Agents disprove Polysemanticity; greatly improve Interpretability & Alignment"