arXiv cs.LGは2026年10月29日(現地時間)付けで、言語モデルの学習における重み更新の効果を定量化する新しい指標「レバレッジ (leverage)」を導入した論文を公開した。同論文は、事前学習 (pretraining) から後学習 (post-training) に至る各学習段階での重み更新がモデルの振る舞いに与える影響を詳細に分析し、学習精度がレバレッジに与える影響についても言及した。
Shikhar Shiromani氏によるこの論文は、重み変化の単位がもたらす効果を測る厳密な尺度として「レバレッジ」を定義する。レバレッジは、更新のフィッシャー二次形式 (Fisher quadratic form) を方向ごとに1回の順伝播パスで計算し、同じチェックポイントにおける同じサイズのランダムな方向の形式で割ることで算出される。
この測定器を用いて、Olmo-3、Tülu-3、Zephyr、およびOLMo-2の公開済みチェックポイントが、4桁にわたるレバレッジの違いを示すことが明らかになった。事前学習ウィンドウは散文タスクにおいてランダムなレベルに位置し、教師ありファインチューニング (SFT) はその5倍、RL-ZeroとRLVRは400〜1,500倍、DPOは400〜23,000倍と評価された。
研究では、事前学習がノイズとして蓄積されることも判明した。3万から100万ステップのウィンドウは、サイズが同じランダムな方向と比較して、散文タスクにおいて大きな影響を与えない。これは、SGDのノイズの多い二次モデルが予測する結果と一致している。
また、学習精度が更新の性質を変化させることも見出された。bf16パラメータをfp32マスターコピーなしで学習した場合、座標の36〜99%がフリーズし、レバレッジが最大7分の1に低下する。この場合、fp32学習では見られない、更新の大きさ (update magnitudes) と対角フィッシャー (diagonal Fisher) との間のアライメントが生成される。
さらに、ランダムドロップ・アンド・リスケール (DARE) の再利用に関する法則を導出し検証した。サインフリップnullが、DAREが成功する場所では測定値の2倍以内で相対的な損傷を予測すると述べている。
参考: arXiv cs.LG (アーカイブ) — 2026年10月30日 13:00 (JST)
原文ハイライト"leverage, an exact measure of what a unit of weight change buys"