arXivは11月5日(現地時間)、機械学習 (ML) 実験の再現性を高めるためのエージェントワークフロー「レプロブリッジ (ReproBridge)」と、その評価用ベンチマーク「レプロブリッジ・ベンチ (ReproBridge-Bench)」を発表した。標準化されたアーティファクト設計を導入することで、平均再現成功率を従来の76.4%から92.6%へ向上させ、さらに下流のAPI利用コストを平均19.7%削減できることが示された。
レプロブリッジは、機械学習実験の再現に必要な手続きを、論文、公開コード、および関連するアーティファクトから再構築する課題に対応するために開発された。これまでのコーディングエージェントにおける再現の成功は、不足している詳細情報を補完する能力に依存しており、公開されたアーティファクトのみでは再現が不十分な場合があった。
レプロブリッジが定義する標準化されたアーティファクト設計は、洗練されたコードベース、環境設定、実験起動ツール、および再現ガイドで構成される。このワークフローは、これらの洗練された再現可能なアーティファクトを構築することを目的としている。
評価にはレプロブリッジ・ベンチというベンチマークが用いられた。これは36本の論文にわたる387の実験から1,029のタスクで構成されており、各タスクには5つの人間による検証済みの参照スコアが付与されている。エージェントは、生のコードを使用するセッションと、レプロブリッジで生成された洗練されたアーティファクトを使用するセッションの両方でタスクを実行し、別の監査人が実行証拠をチェックした。
4つの評価モデル全体で、洗練されたアーティファクトを使用した場合、平均再現成功率は76.4%から92.6%に上昇した。また、下流のAPI利用コストは平均19.7%削減された。モデル間の成功率のばらつきも、21.6パーセンテージポイントから3.9パーセンテージポイントへと縮小し、すべてのモデルが平均成功率90%以上を達成した。アブレーションスタディでは、いずれかの構成要素を除去すると成功率が低下し、特にコードおよび環境の除去が最も大きな損失をもたらした。これらの結果は、実行知識の保存が、生のコードでの成功率が低いモデルであっても、実験をより確実に、かつ低いAPIコストで再現するのに役立つことを示唆している。
参考: arXiv cs.AI (アーカイブ) — 2026年11月6日 03:45 (JST)