arXiv cs.AIは2026年10月8日(現地時間)、Drew T. Nguyen氏とWilliam Fithian氏による研究論文「On the estimation and validity of AI time horizons—a statistical look at the METR plot」を公開した。本論文は、AIが50%の確率でソフトウェアタスクを解決する際の人間完了時間を示す「METRの50%時間地平 (time horizon)」の推定方法について、新たな統計的手法を導入し、その妥当性を検証している。
METRの50%時間地平は、AIの能力を解釈可能な単位で表現できる指標として知られている。従来の評価では、タスクのAI難易度が人間完了時間の対数に線形に依存するという仮定が置かれていたが、本研究はこの仮定を緩和する。Drew T. Nguyen氏とWilliam Fithian氏は、228のタスクと26のAIを対象に、スプライン (spline) と項目反応理論 (item-response theory) を用いて時間地平を再計算した。
分析の結果、フィッティングされたスプラインは、人間時間をAI難易度に変換する関数として解釈できると報告された。この関数は、人間完了時間が2分から30分の範囲ではほぼ平坦な特性を示し、それ以外の領域ではほぼ線形に近い挙動を示す。この特性により、例えば3分から30分への時間地平のジャンプは、乗数としては同じ10倍であるにもかかわらず、30分から5時間へのジャンプよりもはるかに容易であるという見解が示された。
研究者らは、交差検証された適切なスコアリングルール下でより優れた性能を発揮する時間地平の点推定値と、時間地平の構成概念妥当性を評価するための診断プロットを提供した。新しい時間地平ベースのベンチマークが提案される場合や、既存のベンチマークがより長いタスクを含むように拡張される場合には、時間地平はこれらの診断プロットと併せて解釈されるべきであると提案している。
参考: arXiv cs.AI (アーカイブ) — 2026年10月9日 02:59 (JST)
原文ハイライト"time horizons be interpreted together with the diagnostic plots, especially as new time-horizon-based benchmarks"