arXiv cs.CVは11月12日(現地時間)、論文『Rethinking Visual Reasoning in Text-to-Image Reward Modeling』を公開した。同論文は、テキストから画像を生成するAIシステムにおける報酬モデルが、視覚的推論能力の低さという課題を抱えていると指摘。既存の報酬モデルは特定の視覚的推論評価で不十分な性能を示し、さらに強力なビジョン・言語基盤モデルからの選好ファインチューニングによってもこれらの能力が損なわれることが確認された。

研究者らは、テキストから画像を生成するAIシステムの報酬モデルが、ユーザープロンプトの意図を正確に解釈し、美的嗜好に合致する画像を生成するためには、高度な視覚的推論能力が不可欠であると強調している。具体的には、プロンプトに含まれる複数の属性を適切に結合する能力、画像内のオブジェクト間の複雑な関係を解決する能力、そして対象物の数を正確に数え上げる能力が求められる。

しかし、現状の報酬モデルや既存の継続学習ベースラインでは、これらの視覚的推論能力と、画像に対する人間らしい選好を予測する精度との間に、厳しいトレードオフが存在し、これを十分に緩和できていない点が大きな課題となっている。

この課題を克服するため、論文ではデータ中心の革新的なアプローチを提案している。具体的には、従来の人間による画像ペアの選好データに加えて、既存の視覚的推論データセットを変換して活用する手法を導入した。この変換では、同一の画像を共有しつつも、異なるプロンプトが与えられた選好ペアを生成する。これらの異なる種類の選好データを組み合わせて学習させることで、報酬モデルの視覚的推論能力と選好予測精度の両方を向上させることを目指した。

このデータ中心の介入は顕著な効果をもたらし、視覚的理解と選好予測の両面で「パレート改善」が達成された。パレート改善とは、一方の性能を損なうことなく他方の性能を向上させる状態を指す。結果として得られた新しい報酬モデルは、推論時の「ベスト・オブ・N」選択において、困難な構成的プロンプトを用いた評価セットのジェンエバル (GenEval) におけるテキストから画像への生成において、平均4.0パーセントの向上を記録した。さらに、強化学習(RL)ベースの事後学習においても、平均5.5パーセントの性能向上が確認された。これは、6倍もの選好ペアで学習された既存の高性能モデルであるエイチピーエスブイスリー (HPSv3) を上回る性能であり、提案手法の有効性を示している。この研究は、生成AIの報酬モデルがより高度な視覚的推論能力を獲得するための新たな道筋を示唆している。


参考: arXiv cs.CV (アーカイブ) — 2026年11月16日 14:00 (JST)

この記事をシェア
X はてブ LinkedIn