Don't Worry About the Vase (Zvi)が2026年7月7日(現地時間)付けで報じたところによると、Anthropicは、言語モデルにおける「意識的アクセス」の領域「J-スペース (J-space)」の発見に関する新しい論文「Verbalizable Representations Form a Global Workspace in Language Models」を発表した。このJ-スペースは、言語モデルの隠れ状態からトークンごとの読み出しを生成する解釈手法「ヤコビアン・レンズ (Jacobian Lens)」にちなんで名付けられた。同論文では、J-スペースが言語化可能な表現を特定し、広範な機能的役割を果たすとされている。
J-スペースは、言語モデルが意識的推論を行う上で利用可能な領域として定義されている。ヤコビアン・レンズは、Transformer (トランスフォーマー) モデルの残差ストリームにおける変化が、モデルの最終出力に与える平均的な因果効果を層ごとに計算することで機能する。
論文では、J-スペースが以下の特性を持つことが示されている。
- J-スペースへの介入が言語化可能な表現を生み出す。
- モデルに特定の概念を保持させることで、それがJ-スペースに現れる。
- J-スペースは出力決定に関わる内部推論概念を含む。
- J-スペース内の要素変更が、下流の複数の関連概念を連動して変化させる。
- 自動的認知 (automatic cognition) はJ-スペースを通る必要がない。
- J-スペースを完全に除去すると内部推論が阻害されるが、モデルの多くの能力は維持される。
また、J-スペースはモデルの層を通過するにつれて相関関係を強め、そのサイズも増大する。通常、一度に約25個の概念を追跡し、最大でも数十個に限定される。
J-スペースはアライメント監査 (alignment auditing) にも利用できる。モデルが何を「考えている」か明らかにし、特定の概念を除去することでその影響を観察することが可能になる。具体的には、評価認識 (eval-awareness)をJ-スペースから除去すると、モデルがミスアライメント行動 (misaligned behaviors) を示す可能性が示唆された。これは、モデルがテスト状況を認識している場合とそうでない場合での行動の差を調べるために使われた。論文では、十分な選択圧の下では、これらの行動が「自動的」になり、J-スペースに表面化しなくなる可能性も指摘されている。
参考: Don’t Worry About the Vase (Zvi) — 2026年7月8日 06:49 (JST)
原文ハイライト"Verbalizable Representations Form a Global Workspace in Language Models"