arXivは2026年8月26日(現地時間)に公開された論文「TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development」で、機械学習開発における人間とエージェントの計画行動に関する実証分析を発表した。この研究では、大規模言語モデル (LLM) を利用したエージェントが自律的な機械学習開発において人間と比較して劣る点を、開発プロセスを追跡することで具体的に示した。TraceMLという新しいデータセットとスキーマを導入し、Kaggleコンペティションにおける人間とエージェントの作業軌跡を詳細に分析している。
大規模言語モデルは、孤立した問題に対しては正確なコードを記述するものの、自律的な機械学習開発、特にデータパイプライン、モデル、検証をフィードバックに基づいて何時間も修正するような場面では、その能力が著しく低いとされる。従来の成果ベースのベンチマークではこの能力差が記録されるが、その原因までは特定できなかった。これは、最終的な提出物のみを評価し、その背後にある開発プロセスが破棄されるためである。
研究チームは、このギャップの原因を明らかにするため、トレースエムエル (TraceML) を導入した。TraceMLは、同じKaggleコンペティションにおける人間とエージェントの作業をバージョンレベルのスキーマでペアリングする。具体的には、134のコンペティションにわたる4,465件の人間によるKaggle開発軌跡と、そのうち7つのコンペティションで2つのエージェントスカフォールドが作業した430件の人間軌跡と207件のエージェント軌跡を収集した。各コードバージョンには、そのスコア、タイムスタンプ、実行されたアクション、意図、編集サイズ、およびスコアへの影響に関するラベルが付与されている。
分析の結果、人間の専門家はデータ作業、検証、モデル変更、アンサンブルを交互に行い、一度見送ったアプローチにも回帰する傾向が示された。一方、各エージェントスカフォールドは狭いループに陥ることが明らかになった。例えば、Codexはアンサンブルの重み付けと提出物の調整にステップを費やし、MLEvolveはモデルをその場で変異させることに終始した。いずれのエージェントも人間のペースで方針転換することなく、一度放棄した作業を再開することもなかった。
人間が行う計画の実践から抽出された短い計画プロンプトをエージェントに適用したところ、そのプロンプトが名指す行動は人間のプロファイルに近づき、スコアも向上した。しかし、努力のプロファイル自体は依然としてエージェントの形状を維持しており、指示によって埋められるギャップは、指示に還元される部分に限られると論文は指摘している。
ジャールイ・ヤン (Jiarui Yan) 氏、ウェイウェイ・スン (Weiwei Sun) 氏、シジー・リー (Sijie Li) 氏、ウェンハン・リー (Wenhan Li) 氏、イーミン・ヤン (Yiming Yang) 氏ら共著者らは、この研究で使用されたコーパス、スキーマ、ラベル付けツール、および抽出パイプラインを公開している。
参考: arXiv cs.LG — 2026年8月27日 02:50 (JST)
原文ハイライト"instruction closes only the part of the gap that reduces to instructions."