Shiqi Li氏らは10月6日(現地時間)、手と物体が相互作用する様子を4次元で再構築する新たなフレームワーク「4D-HOF: Hand-Object Flow Matching for Feed-Forward 4D Interaction Reconstruction」を発表した。この論文は、既存の4D再構築手法が抱える課題を克服することを目指しており、ビジョンファウンデーションモデルからの推定値を活用することで、安定性と精度を両立させたフィードフォワード方式の再構築を可能にするという。
これまで、手と物体の4次元での相互作用再構築には、シーケンスごとに高コストな最適化を要するか、あるいはランダムノイズから相互作用を合成するため予測が不安定になるという課題があった。
Shiqi Li氏らが提案する「4D-HOF」は、これらの課題に対処するために導入されたフィードフォワードフレームワークだ。同モデルは、ビジョンファウンデーションモデルが生成する、粗いながらも情報量の多い推定値を基に、4次元の手と物体の相互作用を再構築する。
具体的には、条件付きフローマッチングモデルを学習させることで、ファウンデーションモデル由来の手と物体の状態を「相互作用多様体」へと効果的に輸送する。このプロセスを通じて、4D-HOFは平行移動、回転、位置合わせにおける誤差をフィードフォワード方式で修正することが可能となる。
この生成モデルの特長の一つは、トランスポートプロセス内でテスト時ガイダンスを自然に実行できる点にある。再構築後に別途事後最適化を適用するのではなく、物理的な相互作用制約や観測された2Dエビデンスを直接利用し、生成状態の進化を誘導することで、生成プロセス自体の一部として再構築を洗練させる。
多様なデータセットを用いてこの生成モデルを訓練した結果、4D-HOFは現実世界の複雑なシナリオに対しても堅牢な一般化能力を示す。領域外のベンチマークを用いた実験では、4D-HOFが最先端の性能を達成し、従来よりも安定かつ正確な4Dの手と物体の再構築を生成できることが実証されている。
参考: arXiv cs.CV (アーカイブ) — 2026年10月7日 02:59 (JST)
原文ハイライト"Hand-Object Flow Matching for Feed-Forward 4D Interaction Reconstruction"