ケイレブ・N・エリントン (Caleb N. Ellington) らは2026年10月28日(現地時間)、深層学習の新規手法評価に不可欠なベースライン構築を大規模言語モデルで自動化する研究結果を、論文公開サイトarXiv cs.LGで発表した。物理科学と生命科学分野の36の分類・回帰タスクを検証した結果、自動構築されたシンプルなベースラインは、自明な予測器と深層学習モデル間の性能ギャップの95.5% (中央値) を回復し、12件の研究では深層学習モデルの性能に匹敵またはそれを上回った。
本研究は、深層学習（deep learning）メソッドの真価を厳密に確立するためには、適切なベースライン（baselines）との比較が不可欠であるという課題に取り組んだ。物理科学（physical sciences）および生命科学（life sciences）の分野では、ベースラインの省略または欠落により、見かけ上の進歩が成果物であると誤認されたケースが多数存在すると指摘されている。
研究チームは、Nature、Science、およびCell-familyジャーナルに掲載された、科学アプリケーション向け深層学習メソッドを調査する査読済み研究から、教師あり分類（supervised classification）および回帰（regression）タスク計36件を収集した。そして、言語モデル（language model）を用いて各タスクのシンプルなベースラインを構築した。
この自動構築されたベースラインは強力な性能を示し、自明な予測器と深層学習モデルのスコア間のギャップの95.5%（中央値、平均85.7%）を回復した。また、中央値のシンプルなベースラインは、36件中12件の研究で深層学習モデルの性能に匹敵またはそれを上回る結果となった。研究では、科学ドメインや掲載媒体によるばらつき、テスト時の計算資源（test-time compute）、および異なるレベルの研究コンテキストへのアクセスが与える影響も検証された。
近年、人間による査読（human peer review）が研究論文の急速な増加に追いつくことが困難になっている中で、本研究の結果は、自動化されたベースライン構築が、物理科学および生命科学における深層学習の貢献度を検証する上で、実用的かつ拡張性のあるチェック手法となる可能性を示唆している。
参考: arXiv cs.LG — 2026年11月2日 14:00 (JST)
原文ハイライト"Automatic Construction of Strong Simple Baselines"