Arnab Sen SharmaらがLLMの目標符号化と行動への因果的影響を詳述
Arnab Sen Sharmaらは11月12日(現地時間)、大規模言語モデル (LLM) が目標を符号化するメカニズムに関する研究論文をarXiv cs.CLで公開した。この研究は、LLMがタスク目標を内部のニューラル表現として捉え、それが具体的な行動を先行させ、多様な実行経路を可能にする柔軟性を持つことを検証している。特に、アテンションヘッドが次のサブ目標符号化を担い、これが将来の行動に因果関係を持ち、異なる環境へ移植可能な塑性を持つと結論付けた。