#Qwen2.5-7B 関連記事

arXiv、「The Matching Principle」で表現学習の頑健性を理論化

arXiv cs.LGは2026年5月21日(現地時間)、論文「The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning」を発表した。同研究は、表現学習における頑健性、ドメイン適応、不変性などの多様な課題が共通の統計的問題に根ざすという幾何学的理論を提唱。この理論は、ラベル保存型のデプロイメントノイズ共分散を推定し、それをカバーする行列に沿ってエンコーダのヤコビアンを正則化する「The Matching Principle」を提示する。CORALや敵対的学習がその推定器として位置づけられる。

リサーチ・論文 5月18日 20:21

LLM量子化で公平性劣化、新たなバイアス誘発の危険性浮上

Plawan Kumar Rath氏らは2026年5月2日(現地時間)、大規模言語モデル（LLM）の圧縮に用いられる量子化技術が、モデルの公平性を損ない、新たなバイアスを誘発する危険性があるとの研究論文をarXiv cs.LGで公開しました。この研究は、Qwen2.5-7B、Mistral-7B、Phi-3.5-miniの3モデルを対象に、BF16から3ビットまでの5段階の精度レベルで検証を実施。特に3ビット量子化では、これまでバイアスが確認されなかった項目で6～21％のステレオタイプな振る舞いが生じることが判明しました。