arXivは7月6日(現地時間)、複雑な画像作成と編集を支援する新たなマルチモーダルエージェント「CanvasAgent（キャンバスエージェント）」と、大規模なツール利用データセット「CanvasCraft（キャンバスクラフト）」に関する研究論文を発表した。本研究は、既存の画像生成技術が抱える単一モデルでの多様な視覚タスク対応の限界や、ツール利用エージェントにおける教師データ不足の課題を克服することを目指す。複数のビジュアルツールを連携させることで、画像合成やオブジェクトの局所化、領域分割、コンテンツ編集といった広範なプロセスを最適化する。
本研究論文は、多様な視覚タスクに対応するためのマルチモーダルエージェントとその基盤となるデータセットの詳細を提示している。
まず導入されるのは、「CanvasCraft」と名付けられた大規模なマルチモーダルツール利用データセットである。このデータセットは、複雑な画像作成および編集シナリオを網羅するように設計されており、約140,000件の完全にアノテーションされた実行可能な軌道（executable trajectories）を含んでいる。さらに、強化学習（RL）タスク仕様として約10,000件の記述も含まれており、エージェントの学習と評価に利用される。このデータセットは、これまでのツール利用エージェントが直面していた、多様な視覚タスクに対応するための大規模な教師データ不足という課題を解消する上で重要な役割を果たすと期待される。
次に、ツール拡張型のマルチモーダルエージェント「CanvasAgent」が紹介されている。CanvasAgentは、複数段階にわたる対話を通じて多様なビジュアルツールを調整する能力を学習する。このエージェントの学習プロセスは二段階で構成されている。まず、教師ありファインチューニング（SFT）を用いて、実行可能な推論-行動軌道（reasoning-action trajectories）の初期知識を獲得する。このSFTフェーズを通じて、エージェントは基本的なツール利用のパターンと、それらを実行するための推論スキルを習得する。
SFTフェーズの後、エージェントのパフォーマンスは、汎化された近傍方策最適化（Generalized Proximal Policy Optimization: GRPO）アルゴリズムを用いてさらに最適化される。この最適化プロセスでは、結果レベルとプロセスレベルの信号を組み合わせたハイブリッド報酬が活用される。結果レベルの報酬は最終的な出力の品質に基づき、プロセスレベルの報酬はエージェントがタスクを遂行する途中の行動や戦略の効率性・適切さを評価する。この二つの報酬の組み合わせにより、CanvasAgentは最終的な目標達成だけでなく、その過程における効率的かつ合理的なツール利用を学習する。
実行時において、CanvasAgentは高度な適応能力を発揮する。エージェントは中間結果を検査し、生成されるビジュアルアセットを追跡する機能を備えている。これにより、エージェントは進化するビジュアルの状態に動的に適応し、より洗練されたツール決定を下すことが可能となる。例えば、特定のオブジェクトが期待通りに生成されなかった場合、エージェントはそれを検知し、別のツールや異なるパラメーターを用いて修正を試みるといった柔軟な対応が可能となる。
研究チームが行った実験では、CanvasAgentと提案されたデータセットの有効性が多角的に評価された。評価は、最終的な画像品質と、エージェントがタスクを遂行する際の軌道挙動（trajectory behavior）の両方に焦点を当てて実施された。これらの実験結果を通じて、CanvasAgentおよびCanvasCraftデータセットが、複雑なマルチツールを利用する画像作成ワークフローにおいて、高いパフォーマンスと効率性を示すことが実証された。この技術は、将来的には専門家でないユーザーでも高度な画像編集を直感的に行えるようにする可能性を秘めている。
参考: arXiv cs.CV — 2026年7月8日 13:00 (JST)
原文ハイライト"Enabling Complex Image Creation and Editing via Visual Tool Orchestration"