ジーハオ・ヤン (Zhihao Yang) 氏らの研究チームは10月9日(現地時間)、arXiv (アーアーカイブ) cs.LGで公開された論文で、大規模言語モデル (LLM) エージェントの「ハーネス自己進化 (harness self-evolution)」を改善する「スキル適応 (skill adaptation)」の手法を提示した。この研究では、既存のスキルが強力なモデルには有効である一方、能力の低いモデルの性能を低下させる場合があることを指摘し、モデルの能力に合わせたスキル再定式化が重要であると結論付けている。
論文によると、ハーネス自己進化は、LLMエージェントがモデルパラメータを更新せずに、実行経験から能力を向上させる実用的な手段となりうる。しかし、その効果はモデルの能力に一様ではなく、強力なモデルを改善するスキルが、能力の低いモデルにとっては効果が薄い、あるいは性能を損なう可能性も示唆された。
研究チームは7つのモデルと3つのベンチマークで実験を行い、GPT-5.6-lunaを31.1ポイント改善する一方で、Gemma-4-E4Bの性能を8.8ポイント低下させるタスクースキルペアが103件存在することを特定した。また、能力の低いモデルの失敗した実行の86%において、満たされなかった要件はすでにスキルに明記されていたという。
これらの分析に基づき、研究チームは実行者の能力に合うよう既存のスキルを再構築し、ガイダンスの実行を容易にするスキル適応の重要性を強調した。この手法を実現するため、ツール実行、コンテキスト管理、指示追従、検証における失敗を診断し、これらの診断結果をメタスキル (meta-skill)として蒸留。メタスキルはハーネス自己進化プロセスにおける適応を導く役割を果たす。
外部リライターであるKimi-K3は、メタスキルのガイドにより実行証拠なしでスキルを適応させ、元のスキルと比較して3つの能力の低い実行者の性能を5.1ポイントから14.1ポイント向上させた。このスキル適応を5ラウンドの自己進化ループに組み込んだ結果、Gemma-4-E4BからKimi-K2.5までの7つの実行者全てにおいて、メタスキルを使用しない場合と比較して最終スコアが2.0ポイントから5.1ポイント一貫して改善した。これらの知見は、より効果的なハーネス自己進化手法を開発するための具体的な設計指針を提供するものとされている。
参考: arXiv cs.LG (アーカイブ) — 2026年10月28日 13:00 (JST)
原文ハイライト"Improving Harness Self-Evolution via Skill Adaptation"