arXivは2026年11月6日(現地時間)、大規模ビジョン言語モデル(VLM)を用いた知識グラフ質問応答(KGQA)において、多モーダル入力が性能に与える影響について調査した研究結果を発表した。本研究では、テキストのみのプロンプトとグラフ可視化を追加した多モーダルプロンプトを比較し、グラフ画像を付加したプロンプトが平均1.85 F1ポイントの性能向上をもたらすことを確認した。特に、低複雑度の質問では4.65 F1ポイントの大幅な精度改善が見られたと報告している。

この研究は、ルイス・ド・ヴァレ・ミランダ (Luiz do Valle Miranda) 氏らが主導したもので、多モーダルプロンプトの有効性を検証した。1,500を超えるWebQSPおよびCWQの質問データセットを用い、6つの異なるVLMに対して厳密な評価を実施。評価は固定されたKGQAパイプライン内で、推論の複雑さ、モデルサイズ、および画像レイアウトを多角的に考慮して行われた。

分析の結果、多モーダル入力による性能向上はモデルの規模に強く依存しないものの、グラフのレイアウトには非常に敏感であることが示された。例えば、画像のみの設定では性能が著しく低下する一方、階層的なGraphvizレイアウトを用いた可視化は、組織化されていないレンダリングよりも優れた性能を発揮することが明らかになった。さらに、大規模なサブグラフを分離されたパスに分解する手法が、最も大きな改善をもたらすことも判明した。

研究者らは、視覚的プロンプティングが主に低複雑度なコンテキストでの予測精度を高めることでKGQAを支援すると結論付けている。ただし、この効果は視覚デザインが認知および知覚の制約を尊重している場合に限られる。精度と推論効率を最適化するためには、適応的な視覚的プロンプティングポリシーが推奨されている。具体的には、小さく視覚的にスパースなサブグラフに対してのみ、適切に構造化されたレイアウトの図を選択的に追加し、複雑なクエリにおける不要な視覚的乱雑さやトークンオーバーヘッドを避けるべきだと提言した。本研究はAACL-IJCNLP conferenceで採択されている。


参考: arXiv cs.AI (アーカイブ) — 2026年11月11日 14:00 (JST)

原文ハイライト

"Graph Visualizations in Prompts for Knowledge Graph Question Answering"

この記事をシェア
X はてブ LinkedIn