arXiv cs.CLは2026年10月17日(現地時間)、大規模言語モデル (LLM) エージェント向けに「プロシージャル・アトム・ガイデッド・セルフ・ディスティレーション (AtomSD)」と称する新たなフレームワークを発表しました。AtomSDは、「プロシージャル・アトムズ」という細粒度な行動単位を通じて、LLMが複雑なタスク解決に必要な手続き的知識を効率的に学習することを目指しています。本フレームワークは、既存の手法を上回る優れた性能を示しました。
大規模言語モデル（LLM）は膨大な事実的知識と強力な推論能力を持つ一方で、現実世界で複雑なタスクを効果的に解決するには、行動方法に関する手続き的知識が不可欠であると、本論文は指摘しています。従来の手続き的知識学習アプローチでは、知識が個々の軌跡やバンドル化されたスキルとして表現されることが多く、異なるインタラクション履歴間での知識の柔軟な再利用が制限されるという課題がありました。
これらの課題に対処するため、新たに導入されたプロシージャル・アトムズ (Procedural Atoms)は、「Intent (意図)」「When (時期)」「Do (行動)」「Avoid (回避)」といった具体的なガイダンスを表現する、細粒度かつ独立して適用可能な知識単位として定義されます。これらのアトムは、単一の行動ステップやその条件、意図、避けるべき状況を具体的に記述することで、より柔軟な知識の伝達と応用を可能にします。
AtomSDフレームワークでは、学習者が自身の成功したタスク解決の軌跡からプロシージャル・アトムズを継続的に抽出し、それらを進化するポリシーに蒸留する仕組みを採用しています。この蒸留プロセスは、主にアトム条件付き教師あり学習 (Atom-conditioned supervision)とタスク報酬最適化 (task-reward optimization)の二つのメカニズムを通じて実行されます。アトム条件付き教師あり学習は、抽出されたアトムが示すガイダンスに基づいてポリシーを直接指導し、タスク報酬最適化は、実際のタスク遂行結果から得られる報酬を最大化するようにポリシーを微調整します。
広範な実験と評価の結果、AtomSDは、既存の強力な報酬ベースおよび蒸留メソッドを一貫して上回ることが確認されました。特に、平均性能において、最先端のベースラインを最大9.31ポイント凌駕する優れた成果を示しています。さらに詳細な分析では、提案されたプロシージャル・アトムズが、LLMエージェントのポリシー学習において非常に効果的なガイダンスを提供し、アトムレベルの手続き的知識が持つ価値を明確に強調するものであると結論付けられています。
参考: arXiv cs.CL — 2026年10月21日 13:00 (JST)
原文ハイライト"AtomSD consistently outperforms strong reward-based and distillation methods"