arXiv (アーカイヴ) は2026年10月27日(現地時間)、Samuel Younger氏らが、ベイズ最適化におけるPFNs (Prior-Data Fitted Networks) の性能向上を目指す新手法「Anisotropic Trust Region (ATR) warping」に関する研究論文を公開した。この手法は、PFNsのメタトレーニング時に固定される事前分布と目的関数の間に生じる不一致を、ネットワークの再学習を必要とせず補正するもので、従来の課題解決を図る。
Prior-Data Fitted Networks (PFNs) は、ベイズ最適化において、通常Gaussian Process (GP) サロゲートのハイパーパラメータ再適合に要する処理を単一のフォワードパスに置き換えるアプローチである。しかし、PFNsの予測対数尤度は、目的関数の長スケールがPFNsのメタトレーニング事前分布のモードを超えた場合に、再適合されたGPと比較して低下することが示されていた。この低下は、最適化性能にも影響を及ぼすことが実証されている。
Samuel Younger氏らは、この事前分布と目的関数の不一致を、ネットワークの再学習なしに解消するために、Anisotropic Trust Region (ATR) warpingを導入した。この手法では、kernel target alignmentによって次元ごとの長スケールを推定し、入力空間のアフィンリスケーリングを通じて目的関数をPFNが期待する長スケールにマッピングする。アンカーを中心としたトラストリージョンを設けることで、保持する観測値を決定し、PFNの持つ$\mathcal{O}(d \cdot N^2)$ の推論コストは維持される。
Matérn-3/2カーネルから派生した関数を用いた実験では、ATR warpingが長スケール範囲の両極端において、PFNの最適化性能を顕著に向上させることが確認された。この研究成果は、2026 NeurIPS Workshop on Optimization for Machine Learning (OPT) で採択されており、実装は一般に公開されている。
参考: arXiv cs.LG (アーカイブ) — 2026年10月30日 13:00 (JST)
原文ハイライト"Anisotropic Trust Region Warping for Prior-Data Fitted Networks"