arXiv cs.AIは2026年10月13日(現地時間)、視覚的に豊かな成果物をコードとして生成する新しい手法「AesCode」に関する論文を公開した。スライドやポスター、ダッシュボードといった情報の多いビジュアルコンテンツの生成において、コードの構造化、編集可能性、検証可能性を維持しつつ、デザインの美しさを高めることを目的としている。コンテンツプロンプトに基づきコードを生成するとともに、同じプロンプトから生成された画像を美的ガイダンスとして利用する。
従来のコードモデルはレイアウトや色の視覚的統合を把握できないため、空間計画や美的品質に限界があった。一方、画像生成モデルは優れたビジュアルデザインを実現するものの、要求されたコンテンツを誤ってレンダリングする可能性があり、直接的な再現性においては信頼性が低いとされた。
AesCodeは、ターゲットをキャンバス全体を記述するデザイングラフとして表現し、各プロパティを帰属可能にすることでこの課題に対処する。このグラフから、補完的なクロスモーダル報酬が導出される。決定論的ベリファイアがコードとレンダリングから解析可能なプロパティを評価し、VLM (Visual Language Model) ジャッジがグラフ要素と関係に紐づくサンプル固有のVisual Graph Rubric (VGR) を用いて解析不能なプロパティを評価する。
これらのデカップリングされた報酬は、チャネルごとの正規化を伴う強化学習を通じて最適化され、空間計画、美的品質、検証可能な正確性を共同で改善する。研究チームは、検証可能な正確性と視覚的品質を個別に評価するベンチマークを構築し、人間の判断と高い一貫性を持つ視覚的スコアを確認した。参照画像が既存モデルによって生成されたコードの視覚的品質を大幅に改善することが判明し、AesCodeがモデル入力および視覚的報酬のソースとしての参照から利益を得ることを示した。同スケールのQwen3-VLベースラインと比較して、AesCode-8BとAesCode-32Bは視覚的品質をそれぞれ31.1および22.4パーセントポイント改善し、GPT-5.5やClaude Opus 4.8といったクローズドソースのフロンティアモデルに匹敵するスコアに達した。
参考: arXiv cs.AI — 2026年10月14日 02:59 (JST)
原文ハイライト"reference images substantially improve the visual quality of code generated by existing models"