arxiv.orgは2026年8月2日(現地時間)付けで、大規模言語モデル（LLM）の自己改善に関する新たな研究論文「Self-Improving Large Language Models via Progressive Experience Evolution」を公開した。同論文は、既存のテスト時と訓練時手法のギャップを埋める「Experience Distillation」という中間段階を導入したフレームワーク「SPEE (Self-Progressive Experience Evolution)」を提案。SPEEは、5つの数学的推論ベンチマークで既存の自己改善ベースラインを上回る性能を示したと報告している。
大規模言語モデル（LLM）が自己改善するためには、効果的なポリシー最適化に加え、一時的な相互作用経験を永続的なモデル能力に転換する原理的なメカニズムが求められている。既存の自己改善パラダイムは断片化しており、テスト時手法は経験を明示的に抽出できるもののモデルパラメータに内在化できず、訓練時最適化手法はモデルパラメータを更新できるものの、転移可能な経験を蓄積する明示的なメカニズムを欠いていた。
これらのパラダイム間のギャップを埋めるため、論文は未開拓の中間段階であるexperience distillationの重要性を指摘している。SPEEは、このギャップに対処するために提案された統合的なポストトレーニングフレームワークであり、明示的な経験の進化とそれに続く暗黙的なポリシー最適化を順次実行する。
明示的な経験の進化段階では、SPEEは複数の相互作用から収集された軌跡を分析し、転移可能な経験を抽出し、検証し、段階的に進化させる。この経験は、特権ガイド型のOn-Policy Self-Distillation (OPSD)を通じてポリシーに内在化される。暗黙的なポリシー最適化段階では、報酬駆動型強化学習がこれらの内在化された事前知識を活用し、新たな解法戦略を探索する。
経験の進化段階では、継続的に進化するグローバルな経験プールが、成功と失敗の両方の軌跡から知識を統合し、低有用性の経験をフィルタリングする。5つの数学的推論ベンチマークを用いた実験により、SPEEは3つのモデルスケールにおいて、テスト時および訓練時の自己進化ベースラインの両方を一貫して上回る性能を発揮したという。
原文ハイライト"Self-Improving Large Language Models via Progressive Experience Evolution, by Shijie Ren and 10 other authors"