学術リポジトリarXiv cs.CLは2026年10月8日(現地時間)、Elias Lumer氏らが執筆した言語モデルエージェントのプロンプト最適化に関する研究結果を公開した。同研究は、転送可能な性能向上を測定するための「topic-disjoint split (トピック分離分割)」プロトコルを提案し、プロンプトレベルでの過学習という課題に取り組んでいる。
言語モデルエージェントのプロンプト最適化は、強化学習に代わる適応手法として注目を集めている。しかし、ファクトタスクにおいては、最適化ツールが訓練例の回答をプロンプトに直接書き込む「失敗モード」が指摘されてきた。この結果、転送可能な振る舞いではなく、記憶による性能向上が生じ、その有効性が疑問視されることがあった。
研究チームは、リフレクティブ・プロンプト・エボリューション (GEPA) を、マルチエージェント型ディープリサーチエージェントの二つのシステムプロンプトに適用した。評価は、訓練、検証、テスト間でトピックを共有しないトピック分離分割 (topic-disjoint split) の下で実施された。その結果、保持された引用報酬 (held-out citation reward) は0.702から0.781へと0.079増加し、この成果は三つのシードにわたって再現性が確認された。
勝利プロンプトのほぼ半分に記憶された回答キー (memorized answer key) が含まれていたが、制御されたアブレーション実験によって、その内容自体は符号化された訓練質問に対しても報酬を得ていないことが明らかになった。研究チームは、検証データと保持されたデータ間の大きな差は、記憶ではなく、ノイズの多い評価者 (noisy judge) の下での小規模サンプル選択 (small-sample selection) に起因すると結論付けている。これにより、プロンプトに記憶された情報が含まれていても、それが必ずしも過学習に繋がるわけではない可能性が示唆された。
性能向上をもたらす要因として、分解された次元別フィードバック (Decomposed per-dimension feedback) が因果的な要素であると特定された。これを単一のスカラー報酬に集約すると、保持されたデータでの転送ゲインが負になるという。このゲインは、系列外評価者 (out-of-family judge) の下でも持続し、発見された手法の手書き版 (hand-written version) によっても大部分が再現された。この結果は、プロンプトオプティマイザの信頼性を評価する上で、保持されたトピック (held-out topics)、複数シード (multiple seeds)、および評価者アブレーション (verifier ablations) の全てが必要であることを示している。
参考: arXiv cs.CL — 2026年10月12日 13:00 (JST)