arXiv cs.CVは11月19日(現地時間)に公開された論文で、拡散トランスフォーマー (Diffusion Transformers) における強化学習 (RL) 後学習による視覚品質やテキストレンダリング、構成精度向上の大部分が、入力に依存しない「活性化ステアリング (Activation Steering)」で説明できると明らかにした。研究チームは、固定されたステアリングベクトルを追加する手法で検証し、少ないパラメータ数で強化学習の報酬ゲインの90%以上を回復できることを示した。

トゥーナ・ハン・サリ・メラル氏 (Tuna Han Salih Meral) ら研究チームは、強化学習 (RL) 後学習が複雑な入力依存変換を学習することで性能が向上するという従来の仮説に対し、入力に依存しないシフトが効果を発揮する可能性を検証した。

具体的には、凍結されたベースモデルのブロック出力に、固定されたステアリングベクトルを追加するというシンプルなパラメータ化モデルを適用した。この手法により、SD3.5-Mモデルにおいて、RLチューニング済みの低ランク適応 (LoRA: Low-Rank Adaptation) と比較して65分の1にあたる、わずか0.29Mのパラメータ数で同等の効果を得た。目的関数に報酬を与えずに、公開されているRLチューニング済みチェックポイントの速度予測に適合させたこのベクトルは、プロンプト、トークン、サンプリングシードに依存しない特性を持つ。

この固定ベクトルは、6つのRLチューニング済み画像モデルにおいて、報酬ゲインの90.0%から96.3%を回復する結果を示した。さらに、2つのRLチューニング済み動画モデルでは、それぞれ89.8%および111.9%のゲインを達成している。ゼロで初期化され、オンラインRLで学習されたこれらのベクトルは、SD3.5-Mのテキストレンダリング (OCR) や人間による選好評価 (PickScore) において、重みベースのRLを上回る報酬ゲインを示した。

今回の研究結果は、ポリシー勾配RL後学習によって得られるゲインの大部分が、新たな入力依存変換を必要とせず、事前学習済み生成モデルがすでに計算可能な方向に誘導するような一定のシフトで十分であることを示唆している。


参考: arXiv cs.CV (アーカイブ) — 2026年11月20日 03:59 (JST)

原文ハイライト

"RL Post-Training in Diffusion Transformers Is Activation Steering"

この記事をシェア
X はてブ LinkedIn