Parinthapat Pengpun氏らは2026年9月10日(現地時間)、多言語マルチモーダルエンティティリンキング（Multimodal entity linking）における希少エンティティの課題に対処する新しいフレームワークを発表した。従来の人気ベースの指標では見過ごされていた希少エンティティの特定に知識グラフ構造指標を用い、推論と検索を組み合わせることで、関連ベンチマークにおいて既存手法を上回る性能を示した。
マルチモーダルエンティティリンキングは、テキストと画像中のエンティティを知識ベースのエントリに紐付ける技術である。しかし、これらのシステムは希少なエンティティに対して性能が低下する問題がある。先行研究では希少性をページビューのような人気ベースの指標で測定していたが、今回の研究ではエンティティの文書化や接続状況を捉える知識グラフ構造指標を用いて、希少性の定義を拡大した。
この新しい指標は、人気ベースの指標では見落とされていた多くの希少エンティティを特定した。これらの希少エンティティのスライスにおいて、最先端の精度は15.4%から39.9%低下することが判明し、異なる希少性定義が異なる失敗モードを露呈することが示された。これらの課題に対処するため、研究チームは、推論能力を持つビジョン言語モデルがWikipediaを反復的に検索し、動的に証拠を収集する、シンプルな訓練不要のフレームワークを導入した。
制御実験により、推論と検索が相補的であることが示された。推論のみでは希少エンティティの精度は大きく向上せず、検索のみでは希少エンティティの精度は向上するものの、全体の精度を損なう可能性があった。しかし、これらを組み合わせることで最適な性能が得られた。
ヒンディー語、インドネシア語、日本語、タミル語、ベトナム語の5言語を対象とした多言語マルチモーダルエンティティリンキングベンチマーク「MERLIN」において、研究チームの最適なシステムは、全体で6.9%、希少エンティティのスライスでは最大23.3%の精度向上を達成した。また、このフレームワークと共に、ターゲット評価用の希少エンティティテストスライス「MERLIN-Rare」を公開した。本研究はEMNLP 2026メインカンファレンスに採択された。
参考: arXiv cs.CL (アーカイブ) — 2026年9月11日 13:00 (JST)
原文ハイライト"Reasoning alone does not significantly improve accuracy on rare entities."