arXiv cs.LGは2026年5月21日(現地時間)、論文「The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning」を発表した。同研究は、表現学習における頑健性、ドメイン適応、不変性などの多様な課題が共通の統計的問題に根ざすという幾何学的理論を提唱。この理論は、ラベル保存型のデプロイメントノイズ共分散を推定し、それをカバーする行列に沿ってエンコーダのヤコビアンを正則化する「The Matching Principle」を提示する。CORALや敵対的学習がその推定器として位置づけられる。
ヴィシャール・ラージプート氏によるこの研究は、これまで個別の課題として扱われてきた頑健性、ドメイン適応、光度およびオクルージョン不変性、合成一般化、時間的頑健性、アライメント安全性、異方性正則化といった広範な問題が、共通の統計的問題の構造を持つと論じる。
論文では、線形ガウスモデルにおいて閉形式の最適性（Theorem A）を証明し、二次ヤコビアンペナルティに対するレンジカバーの必要性（Theorem G）を示している。また、タスク精度やヤコビアンフロベニウスノルムが不十分な場合における埋め込みの感度を測定するラベルフリーなプローブとして、Trajectory Deviation Index (TDI)を新たに導入した。
検証は、古典的な機械学習モデルからQwen2.5-7Bに至るまで、13の事前登録された実証タスクブロックで行われた。幾何学的およびデプロイメントドリフトにおける予測されたmatched、次いでisotropic、次いでwrong-Wの順序は12のケースで確認された。特に7Bスケールでは、matched style-PMHが選択的誠実性を向上させ、標準的なDPOが劣化させるStyle TDIを保持すると報告されている。
本研究の主要な貢献は、デプロイメントノイズ共分散を明確に定義し、正則化器の役割を具体的に示し、そのオブジェクトが特定された際に閉形式で反証可能な理論を提供することにあるとしている。
参考: arXiv cs.LG — 2026年5月22日 02:53 (JST)
原文ハイライト"The Matching Principle"