arXivは11月3日(現地時間)、Andrew Gao（アンドリュー・ガオ）氏らが発表した研究論文が、事前学習済み言語モデル (LM) のIn-context learning (ICL: パラメータ更新なしにプロンプト内のデモンストレーションによってタスクを実行する能力) の回路構造を解明したと報じた。この研究は、3つの3-4BパラメータTransformerモデルを用いてICLの機能メカニズムを分析し、その構成要素と機能的役割を特定している。
研究によると、モデルはラベルトークン位置に対してキーバリューメモリを実装している。各ラベルトークンのレジデュアルストリームはラベルのアイデンティティをエンコードし、中間層のアテンションヘッドが先行するデモンストレーションのクラスをキーとしてその中に書き込む。
クエリ時には、上位層のヘッドがクエリのクラスを保存されたキーと照合し、一致するラベルをコピーアウトする。早期層の信号は、いずれかのラベルが繰り返されたかどうかをエンコードし、このリードアウトを制御する。この信号がない場合、リードアウトはプロンプトの開始部分に注目し、特定のラベルは優先されない。また、別のヘッドのセットは、最も直近に見たラベルを抑制する。
各ステップは、アクティベーションパッチング、ランダムヘッドベースラインに対するヘッドアブレーション、モデル自身の信号を用いたステアリングにより、因果的に確立された。リードアウトのソフトマックスモデルは、1つのプロンプト分布に適合したヘッドあたり2つの定数を用いて、別の分布を予測する。この計算は3つのモデル間で保存されており、指定されたヘッドのみで挙動が再現され、ゼロから訓練されたTransformerも同じ部分を発達させることが明らかになった。この回路は意味概念や意味を持つラベルにも転用可能であり、0.6Bから8Bの範囲のモデルファミリーで出現し、インストラクションチューニング後も存続すると報告されている。
参考: arXiv cs.CL — 2026年11月4日 03:44 (JST)