arXivは2026年10月21日(現地時間)、単眼の一人称視点動画から手の3Dモデルを再構成する新手法「EgoHand（エゴハンド）」を発表した。このモデルは、大規模なデータセットを用いてトレーニングされ、一人称視点動画における3Dハンド再構成において最先端の性能を達成したと報告されている。匿名化されたユーザー調査では、EgoHandによる再構成ポーズが既存の手法よりも好まれ、モデルとソースコードはOpenMDWライセンスの下で公開された。
EgoHand（エゴハンド）は、一人称視点動画から手の3Dポーズと形状を再構築するために設計された新しい深層学習モデルである。このプロジェクトの研究チームは、Chao-Yeh Chen（チャオ・イェー・チェン）、Tiffany Chen（ティファニー・チェン）、Umar Iqbal（ウマール・イクバル）らが名を連ねている。
モデルのトレーニングには、大規模なEgoHandデータセットが構築された。このデータセットは、合成データや実写動画、マルチカメラモーションキャプチャのデータを組み合わせることで、多様なシーンと高品質な教師信号のバランスを図っている。総計1400万枚に及ぶ画像データは、現実世界における手の複雑な動きや相互作用を網羅するように設計されている。
EgoHandモデルは、手のパラメトリック表現としてSOMA-Hand（ソーマ・ハンド）を採用し、2Dハンドクロップを処理するためにトランスフォーマーエンコーダーを活用する。さらに、カメラキューと補助的な2Dブランチを組み込むことで、再構成された3D形状の幾何学的整合性と画像に対するアライメント精度を向上させている。これにより、単眼の入力画像からでもロバストで精度の高い3Dハンド再構成を実現している。
評価では、HOT3D（ホットスリーディー）、ARCTIC（アークティック）、H2O（エイチツーオー）といった確立されたベンチマークデータセットに対し、ゼロショット評価が行われた。この評価の結果、EgoHandはドメイン外のデータに対しても高い汎化性能を示すことが確認された。既存のベースライン手法と比較して、関節位置、根元変換、および速度の推定において、各エラーが平均で低減されている。また、推論レイテンシは約9.69ミリ秒と報告されており、リアルタイムに近いアプリケーションへの適用可能性も示唆された。
実施された匿名化されたユーザー選好調査では、参加者の大多数が既存の再構成ポーズよりも、EgoHandによって再構成されたハンドポーズを視覚的に好むと回答した。これは、知覚的な品質においてもEgoHandが優位性を持つことを示している。
EgoHandモデルとその関連するソースコードは、OpenMDW（オープンエムディーダブリュー）ライセンスの下で公開されており、これには商用目的での利用も許可されている。この公開は、広範な研究コミュニティおよび産業界における一人称視点3Dハンド再構成技術のさらなる発展に寄与することが期待されている。
参考: arXiv cs.CV (アーカイブ) — 2026年10月23日 13:00 (JST)
原文ハイライト"EgoHand: Monocular 3D Hand Reconstruction from Egocentric Video"