arXivは7月6日(現地時間)、論文を公開し、視覚生成モデルが学習データにない情報を「捏造」する課題に対し、検索ツールを組み込んだエージェンティック視覚生成（agentic visual generation）の手法を提案しました。この研究は、モデルが学習を通じて内面化する知識と、外部コンテキストに頼る知識の境界線を発見する「teach-then-search」協調学習フレームワークが有効であることを実証しており、生成モデルの知識管理における新たな方向性を示すものとして注目されます。
視覚生成モデルは高いレンダリング能力を持つ一方、学習データにない情報を自信を持って「捏造」する傾向が見られます。ユーザーの要求は進化し続け、新しいキャラクター、流行しているエンティティ、学習データカットオフ以降のイベントなど、多様な長尾分布を持つことが、この問題の背景にあります。これは、生成モデルが固定されたコーパスで訓練されるのに対し、視覚的な世界が常に変化するという構造的なボトルネックに起因するとされています。
研究チームは、この問題に対処するため、20,839個のプロンプト、12の失敗カテゴリ、22のドメインを網羅するデータセット「SearchGen-20K」とベンチマーク「SearchGen-Bench」を構築しました。また、オフラインでの再現可能な研究を支援するため、マルチモーダルなSearchGen-Corpus-1Mも提供されています。「SearchGen-Bench」を用いた評価では、最先端のオープン生成モデルでさえ100点中21点から28点という低いスコアを示し、既存のベンチマークでは見過ごされてきた40ポイントもの性能低下が明らかになりました。
検索ツールの導入は自然な解決策と考えられますが、単純な検索では、生成モデルが既に処理できるプロンプトにノイズを無差別に注入してしまうことが判明しました。その根本原因は、生成モデル固有で進化する「知識境界」、すなわちモデルが学習を通じて内部化できるものと外部コンテキストに残すべきものの間の区別にあるといいます。この境界は事前に特定するのが困難であるものの、teach-then-search協調学習フレームワークを通じて発見可能であることを、研究チームは実証しました。この協調学習レシピの最小バージョンであっても着実な改善をもたらし、世界知識に基づいた要求に応じる視覚生成における再帰的自己改善の基盤を築いていると見られます。研究に関連する全データセット、co-training corpus、およびsearch corpusは、ツール強化型かつ世界知識に基づいた視覚生成のための再現可能なハーネスとして公開されています。
この研究は、生成AIにおける「パラメトリック知識」と外部知識という長年の論争に対し、両者の協調的統合という新たなアプローチを提示します。teach-then-searchフレームワークは、モデルの内部知識と外部検索の最適な「知識境界」を発見することで、生成AIエージェントの開発において、より堅牢で信頼性の高い応答を可能にする基盤を提供すると考えられます。これは、動的な知識を必要とするマルチモーダル生成市場において、特に重要性を増すと予測されます。実務者にとっては、生成モデルが持つ「知らないことを知らない」という根本的な問題を克服し、より正確で最新の情報を反映したコンテンツ生成を可能にするための具体的な指針となると期待されます。データセット構築においても、モデルが自ら知識境界を特定することで、訓練データと検索データの適切な配分を最適化する道筋が示されたと見られます。
参考: arXiv cs.CV (アーカイブ) — 2026年7月7日 02:56 (JST)
原文ハイライト"Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation"