arXiv cs.LGは2026年10月26日(現地時間)、自律的な研究システム向けに新たな多目的ベンチマーク「オートリサーチ・アリーナ (Auto-Research Arena)」を導入する論文を発表した。このベンチマークは、言語モデリングにおける自律研究システムの性能評価と新たなアイデア発見を目的としている。モデル品質とリソース制約に基づく許容性基準と、選択されたターゲットによる進捗測定を分離することで、多様な研究目標を共有された実験環境でサポートする設計となっている。
オートリサーチ・アリーナは、言語モデルの事前学習 (language model pretraining) に実装され、モデル、データ、学習、推論効率にわたる9つのターゲットを持つ。研究チームは、2つの基盤モデル (foundation models) を用い、7つの研究ハーネス (research harnesses) を評価した。この評価を通じ、既存のハーネス間の性能差が研究目標ごとに明確に示された。
評価結果は、単純な逐次探索ベースライン (simple sequential search baseline) が、複数の洗練された手法を上回るパフォーマンスを発揮したことを明らかにした。これは、現在の自律研究システムには大幅な改善の余地があることを示唆している。オートリサーチ・アリーナは、評価ツールとしてだけでなく、活発な研究方向と合致するモデルおよびシステムのアイデアの広範なフロンティアを明らかにしている。
このフレームワークによって明らかにされた知見を新たな品質駆動型探索 (quality-driven search) に再利用した結果、データとFLOPs（浮動小数点演算）を合わせた条件下での学習損失 (training loss) が低減し、同じモデルサイズにおけるホールドアウトBPB (held-out BPB) も低減した。本フレームワークは、言語モデリング分野における自律研究のベンチマーク設定とその範囲拡大のための共通基盤を提供するものとなる。
参考: arXiv cs.LG — 2026年10月27日 02:59 (JST)