arXiv math.OCは10月19日(現地時間)、ユアラン・ドン (Youran Dong) 氏ら研究者らが発表した、二重レベル最適化における新たなニュートン法に基づく手法に関する論文を公開した。この手法は、下位レベルの解が非一意的で、ヘッセ行列が特異なために既存手法が適用できない課題を解決することを目指す。共有される曲率を利用し、既存手法の限界を超える二つの手法「Newton-based GALET」と「Newton-based BAMM」を開発した。
二重レベル最適化（Bilevel optimization）は、ハイパーパラメータ最適化、データ重み付け、メタ学習といった機械学習タスクで利用されるフレームワークである。
既存のニュートン法に基づく二重レベル最適化手法は、下位レベルの解が非一意的で、下位レベルのヘッセ行列が特異な場合に適用できない古典的なハイパーグラディエント式に依存している。今回発表された二つの新手法は、下位レベルと乗数更新によって共有される曲率を利用することで、下位レベルの強い凸性（lower-level strong convexity）の制約を超越する。
Newton-based GALETは、正のスペクトルギャップ条件の下で潜在的に特異な下位レベルの曲率を扱い、GALETで用いられる二乗ヘッセ行列乗数システムを回避するため、その範囲構造を利用する。Newton-based BAMMは、下位レベルの目的関数が凸であり、上位レベルの目的関数が下位レベル変数において強い凸性を持つ場合に、強い凸集合モデルを使用する。これらの手法は、対応する仮定の下で、GALETおよびsl-BAMMと比較して収束保証と複雑性の改善を示すとされている。
さらに研究者らは、提案手法と既存のニュートン法および準ニュートン法の二重レベル手法の共有曲率構造を捉える汎化されたニュートン法に基づくフレームワーク「GNBO」を導入した。実験では、合成問題、データハイパークリーニング、GPT-2データ重み付けといった様々な二重レベル学習タスクにおいて、提案手法の評価を実施した。
参考: arXiv math.OC (アーカイブ) — 2026年10月20日 02:58 (JST)
原文ハイライト"Newton-based Methods for Bilevel Optimization Beyond Lower-Level Strong Convexity"