Cormac Cureton氏とNarges Armanfard氏は2026年5月16日(現地時間)、表形式データ向けのネイティブマルチタスクインコンテキスト学習器「TabPFN-MT」を提案した。このモデルは、既存の事前データ適合ネットワーク(PFNs)が持つシングルタスク推論の制約を克服し、複数のターゲット値に対する同時推論とタスク間情報共有を可能にする。主に1,000サンプル未満の小規模から中規模データセットに特化し、勾配ベースの訓練に代わるインコンテキスト学習を用いることで、複雑なマルチタスク課題への対応を目指す。
表形式データに特化した事前データ適合ネットワーク（PFNs）は、これまで小規模から中規模データセットにおいて顕著な性能を発揮してきた。しかし、従来のPFNsは単一タスクの推論に限定され、複数のターゲット値を同時に予測したり、タスク間で情報を共有したりする必要がある実世界のシナリオには不向きという課題があった。Cureton氏とArmanfard氏が開発したTabPFN-MTは、これらの制約を乗り越えるため、マルチタスクインコンテキスト学習を可能にする革新的なアプローチを採用している。
TabPFN-MTは、拡張されたマルチターゲット合成事前分布に基づいて訓練され、コンテキスト内のタスク間依存関係を効果的に捕捉する。そのアーキテクチャは、拡張されたy-encoderと共有デコーダーヘッドを用いることで、ネイティブなマルチタスクのインコンテキスト学習と複数のタスクに対する同時推論を実現する。この設計により、モデルはタスク固有の情報を効率的に学習し、異なるタスク間で関連性の高い知識を共有することが可能となる。
この新しい学習器の性能を検証するため、広範な評価が344もの多様なデータセットで実施された。その結果、TabPFN-MTが深層表形式マルチタスク学習の分野において、新たな最高水準（state-of-the-art）を確立したことが示された。特に、モデルの共同最適化による計算上の非対称性があるにもかかわらず、最新の最高水準を達成したシングルタスクアンサンブルと比較しても、非常に高い競争力を維持していることが確認された。
マルチタスクデータセットにおける詳細な分析では、TabPFN-MTは平均精度ランク4.89という優れた結果を達成し、テストされた全モデルの中で最高の平均ランクを示した。これは、既存のモデルと比較して、TabPFN-MTがマルチタスク環境においてより堅牢かつ正確な予測能力を持つことを裏付けている。さらに、TabPFN-MTはTタスクの推論コストをO(T)からO(1)の順方向パスへと大幅に削減する。この計算効率の劇的な向上は、マルチターゲット表形式アプリケーションにおいて、リアルタイム処理や大規模展開の可能性を大きく広げる。小規模から中規模のデータセットにおけるインコンテキスト学習の利点を最大限に活用し、勾配ベースの訓練を不要とすることで、実用化の道筋を示している。
参考: arXiv cs.LG (アーカイブ) — 2026年5月21日 13:00 (JST)
原文ハイライト"TabPFN-MT: A Natively Multitask In-Context Learner for Tabular Data"