計算と言語学分野のプレプリントサーバarXivは2026年10月9日(現地時間)、大規模言語モデル (LLM) のコンポーネントがタスクコンテキストによってどのように異なる役割を果たすかに関する研究論文を公開した。ソヴェシュ・モハパトラ氏とダニ・S・バセット氏が執筆したこの論文は、同じアテンションヘッドがタスク間で再利用される際、その働きがタスクに依存して変化するメカニズムを詳細に分析している。
大規模言語モデルは複数のタスクで同一のアテンションヘッドを再利用するが、これらの共有ヘッドが各タスクでどのように異なる振る舞いをするかは未解明だった。本研究は、共有脳領域におけるタスク依存の相互作用に着想を得て、言語モデルの計算をネットワークの視点から捉えることを提案している。
研究チームは、同一の「グラフ事実」を用いて、タスク間で固定されたモデルコンポーネントを比較した。介入がアテンションヘッド、後続レイヤーの活性化状態 (influence)、および回答 (importance) に与える影響を測定している。タスクの変更は、4つのファミリーに属し15億から140億パラメータを持つ5つのオープンウェイトモデルにおいて、influenceの再分配を引き起こすことを確認した。
Gemma-2-9BとQwen3-14Bのモデルでは、activation editによって初期の内部活性化ベクトルが変更されると、書かれた指示が固定されていてもモデルが読み取る事実が切り替わった。これにより、同じヘッドが異なるグラフ事実に反応し、後続のコンポーネントに異なる影響を与えることが判明した。各プロンプトに対して、編集前と後の2つの線形応答マップを構築し、以前のヘッドの測定された変化から後続のヘッドの応答を予測した。
別の事実的介入に対し、対応する条件のマップは、Gemmaで53.6%、Qwenで5.0%の平均二乗予測誤差を削減した。これらの発見は、タスクコンテキストが、共有コンポーネントがどのグラフ事実に反応するか、およびそれらの出力が後続の計算にどのように影響するかの両方を変化させることを示している。ネットワークによる説明は、モデルが共有パラメータを用いて異なる計算を実行する方法を説明し、一つの振る舞いを変更しつつ他の振る舞いを維持する介入を導くのに役立つ可能性がある。
参考: arXiv cs.CL (アーカイブ) — 2026年10月10日 02:40 (JST)
原文ハイライト"Task changes redistribute the influence in five open-weight models spanning four families"