ジョンヒョン・キム (Jonghyun Kim)氏らは2026年9月9日(現地時間)、学術論文投稿サイトarXiv cs.CVで公開された論文「Single-Query Person-Centric Bimanual Hand-Object Interaction Detection」の中で、複数人物が関わる複雑なシーンにおいて、両手と物体の相互作用を検出する新たな手法を提案した。この「人物中心 (person-centric)」手法は、既存の「ハンド中心 (hand-centric)」アプローチで生じがちな手の所有権の曖昧さを解消し、単一のクエリで人物全体の構造、両手の動作、そしてインタラクション対象を識別することを可能にする。
本研究は、コンピュータービジョン分野における、人物レベルでの両手による物体操作の理解に焦点を当てている。特に、手の検出に加え、同じ人物に属する両手を識別し、それぞれの手がどの物体と相互作用しているかを特定する必要がある、複雑な課題に取り組んでいる。
これまでのハンド-オブジェクトインタラクション手法の多くは、各手を独立したインスタンスとして扱うハンド中心アプローチを採用していた。このため、複数人物が登場するシーンでは、どの手がどの人物に属するのかという「手の所有権」が曖昧になるという課題があった。例えば、隣接する人物の手が混同されたり、同一人物の左右の手が別々のエンティティとして扱われたりすることで、全体的なコンテキスト理解が妨げられることが少なくなかった。
提案された人物中心のフレームワークでは、この課題を解決するため、単一のクエリを用いて構造化された出力を予測する。これには、人物の境界ボックス、身体のポーズ、各手の境界ボックスと状態、および相互作用ターゲットが含まれる。この手法は、人物全体を包括的に捉えることを目指しており、人物、手、ポーズに特化した参照領域全体にアテンションを割り当てるpart-aware deformable attentionを導入している。これにより、一つのクエリが人物の完全な構造と、その人物が行っている動作を網羅的に捉えることが可能となる。
さらに、検出プロセスとインタラクションの推論は、hand-to-query relationship matrixによって統合されている。このメカニズムにより、各手は検出されたクエリセットの中から最適なインタラクションターゲットを選択し、学習可能な「オフ・トークン」を活用して、ターゲットのボックスとクラスを直接復元する。これにより、別途オブジェクトの回帰処理を行う必要がなく、効率的かつ統合された推論が可能となる。
研究チームは、この新しい手法を評価するため、COCOベースのデータセットに人物中心の両手によるインタラクションのアノテーションを独自に追加した。また、手の状態と完全なハンド-オブジェクトの組を評価するための構造化されたメトリクスを新たに定義している。Transformerベースの検出器を用いた広範な実験では、この定式化が人物レベルでの両手によるインタラクション解析の精度と堅牢性を大幅に改善することが示された。本研究で提案されたフレームワークは、ジョイント検出、ポーズ推定、手推論のための効果的な統合フレームワークとしての可能性を秘めている。この研究成果は、コンピュータービジョン分野の主要会議であるECCV2026に採択されている。
参考: arXiv cs.CV — 2026年9月14日 13:00 (JST)
原文ハイライト"Single-Query Person-Centric Bimanual Hand-Object Interaction Detection"