Lihao Liu氏らは2026年9月3日(現地時間)、arXiv cs.CLで、プロンプト最適化手法「ESPO (Error-Structured Prompt Optimization)」に関する研究論文を発表した。既存手法であるGEPAなどが抱えるプロンプトの肥大化と精度停滞の問題を指摘し、これを解決する新たなフレームワークを提案。7つの公開NLPベンチマークにおいて、平均精度を既存手法より3.76パーセントポイント向上させるとともに、プロンプト長を47パーセント短縮することに成功した。
この研究は、進化的なプロンプト最適化手法が、イテレーションごとにルールや制約を追加することでプロンプトが最大3倍長くなるにもかかわらず、精度が向上しない「プロンプト肥大化」に悩まされている点を指摘した。研究者らは、その原因として不完全なエラー観測、限られた探索多様性、信頼性の低い選択という3つの欠陥を挙げている。
ESPOは、これらの課題に対処するため、プロンプト最適化を「Diagnose (診断)」「Propose (提案)」「Select (選択)」の3つのフェーズに分解している。Diagnoseフェーズでは、すべてのトレーニングエラーを構造的パターンに一度でクラスタリングする。Proposeフェーズでは、独立したバイアスを持つ4つの補完的な戦略を通じて候補を生成する。Selectフェーズでは、ブートストラップ安定性選択を適用する。
ESPOは、Tweet、MMLU、GSM8K、HotpotQA、ScoNe、HoVer、PUPAの7つの公開NLPベンチマークで評価された。その結果、ESPOはGEPAの70.91%に対し、平均精度74.67%を達成し、既存の最先端手法と比較して3.76パーセントポイントの向上を示した。すべてのデータセットにおいてGEPAと同等またはそれ以上の性能を発揮し、同時にプロンプト長はGEPAの1,878文字に対し1,004文字と47パーセント短縮された。これにより、推論速度も向上する。
さらに、Gemma 3 12B、Mistral 14B、Qwen3 32B、Claude Haiku 4.5の4つの追加の学生モデルを用いたクロスモデル実験でも、ESPOはテストされたすべてのモデルで最高の平均精度を示した。特にQwen3のGSM8Kでは、精度が15.00%から91.40%へと大幅な改善が見られた。アブレーション研究では、ブートストラップ選択なしに多様性を加えると性能が1.20パーセントポイント低下するという主要な予測が確認された。
参考: arXiv cs.CL — 2026年9月4日 02:59 (JST)