論文投稿サイトのarXiv cs.LGは2026年10月9日(現地時間)、ダニル・ルデンコ氏らの研究グループによる「表形式深層回帰: 目的関数とグローバル早期停止の限界の再検討」と題する研究論文を発表した。同研究では、表形式データに対する深層学習モデルの回帰タスクにおいて、目的関数の体系的な再評価を実施。標準的な平均二乗誤差 (MSE) と比較し、クォンタイルロスが一貫した改善を示す一方で、グローバル早期停止には限界があることを指摘した。
本研究は、表形式データにおける深層学習モデルの回帰タスクにおいて、目的関数の選択が十分に研究されていない現状に対処することを目的とした。研究グループは、広範な確立された表形式データセットと複数のニューラルバックボーンを用いて、回帰目的関数の系統的な再評価を行った。
その結果、これまで提案されてきた多くの目的関数は、適切に調整された平均二乗誤差 (MSE) ベースラインと比較して、限定的または一貫性のない改善しか提供しないことが明らかになった。一方で、クォンタイルロス (quantile loss) は、テストされたバックボーン全体でMSEに対して一貫した集計的な改善をもたらすことを確認した。
さらに、クォンタイルロスのような強力な目的関数を使用しても、依然として限界が存在することを特定した。具体的には、ターゲットノイズ (target noise) のレベルが異なる領域では、最適な予測性能に達するトレーニングエポックが異なるという問題である。このため、単一のグローバル早期停止 (global early-stopping) チェックポイントでは、不確実性領域 (uncertainty regions) 間で妥協を強いられる可能性がある。
この限界に対処するため、研究グループは、入力依存のラベル平滑化 (input-dependent label smoothing) を用いた異分散性考慮型クォンタイルロス拡張 (heteroskedasticity-aware extension of quantile loss) を導入した。この新しいアプローチは、いくつかのバックボーンにおいてクォンタイルロスを上回る改善を示した。
これらの結果は、表形式深層学習における回帰目的関数に関する最新の経験的知見を提供し、最適な停止時間が不確実性領域間で異なることが、グローバル早期停止の有効性を制限する可能性を強調している。
参考: arXiv cs.LG — 2026年10月10日 02:49 (JST)
原文ハイライト"quantile loss yields consistent aggregate improvements over MSE across the tested backbones."