Di Wen氏らの研究チームは2026年9月29日(現地時間)、人物とエンティティ（実体）の相互作用を理解するための新しい画像ベンチマーク「HEIR (Human-Entity Interactions with Functional Roles)」および予測手法「CoRISP (Compositional Role-aware Interaction Set Prediction)」をarXiv上で発表した。HEIRは、オブジェクト、対人、自己指向の相互作用における完全な参加者と役割のセットを評価する。この研究は、各人物-アクションイベントの参加者、役割、共有されたアイデンティティを回復させることで、身体化されたエージェント（embodied agents）のサポートを目指す。
HEIRは、18,730枚の画像、6つの役割、105のアクション、437の名詞を含む画像ベンチマークとして構築された。これには共有エンティティ、役割変更、繰り返し出現するフィラーといった要素が含まれる。画像の51.6%が複数のアクターを、62.1%が複数のアクションをそれぞれ含んでいる。従来のHOI（Human-Object Interaction）メトリクスが個々のリンクを評価するのに対し、HEIRは関係AP（Average Precision）と完全セットAP、および構造評価を組み合わせて、イベントの完全な構成評価を可能にする。
同時に発表されたCoRISPは、共有エンティティのアイデンティティを利用して役割に応じたエビデンスを組み合わせ、正規化された参加者-役割セットを予測する手法である。イベントサイズと役割構成を通じて割り当てを結合するため、イベントごとの正確な正規化が特徴として挙げられる。
研究チームは16のベースラインシステムと比較評価を実施した。その結果、CoRISPはHEIRベンチマークにおいて、繰り返し役割イベントで2.87 Set mAPポイント、共有参加者画像で3.82 Set mAPポイントの改善を示し、評価されたシステムの中で先行した。また、V-COCOデータセットでは、CoRISPが2スロットアクションのシナリオ1/2で、それぞれ73.72/76.23の役割APと61.06/68.59の完全セットAPを達成した。これらの結果は、個々の関係に加えてイベントの構成を学習し評価することの価値を示すものとされている。
関連するコードとデータセットは公開されている。
参考: arXiv cs.CV (アーカイブ) — 2026年9月30日 13:00 (JST)
原文ハイライト"We introduce HEIR (Human-Entity Interactions with Functional Roles), an image benchmark"