Jinkun Chen（ジンクン・チェン）ら研究チームは2026年10月30日(現地時間)、オンライン論文投稿サイトのarXiv cs.CLで論文「Cross-Prompt Reuse of Entity-Replacement Responses」を発表した。この研究は、固定されたモデルの重みを用いた際、英語の事実に関する質問においてエンティティ置換応答がどの程度転送されるかを測定し、回答の変化を超えた影響を評価している。隠れ状態の変化をターゲット質問に追加することで、予測された対数確率シフトと測定されたシフトを比較した。
この研究では、モデルの重みを固定し、エンティティ置換応答が英語の事実に関する質問間でどの程度転送されるかを測定した。具体的には、2つのソース質問からの隠れ状態の変化を、同じエンティティに関するターゲット質問に追加する手法を採用した。既知の回答プレフィックスを与えられた場合、2つの関係の公開された回答間の予測された対数確率シフトと測定されたシフトが比較された。
「Hidden reuse」と呼ばれる手法では、ターゲットモデルの残りのレイヤーの前に、アラインされた変化を50%の深さで注入した。「direct reuse」では、ソースの出力スコアの変化を追加している。他の関係からのソースを用いた場合、「hidden reuse」は0.5-1BパラメータのQwenとLlamaにおいて、ノーチェンジエラーをそれぞれ45%と49%削減した。
Gemma-2-2Bにおいては、この手法により22%の削減が達成され、デフォルトのbeginning-of-sequence（BOS）トークンなしのプレーンテキストで3つの比較のうち1つをパスした。後にBOSトークンを復元するプロトコルでは、58%から68%の削減率を示し、3つのコホートすべてで比較をパスした。大規模なチェックポイントやチャット形式、新しいエンティティを用いた実験では、再現性と形式またはコホートに依存する失敗が観察された。また、ターゲット関係のソースを用いた場合、「hidden reuse」は「direct reuse」に対し、チャット形式以外で0.2-0.9ナッツの事後的な優位性を示したが、これは未確認であり、置換に特異的ではないとされた。
参考: arXiv cs.CL (アーカイブ) — 2026年11月4日 14:00 (JST)