Genki Kinoshita氏とKo Nishino氏は11月13日(現地時間)、人間動作表現学習のための自己教師ありフレームワーク「BAL (Bidirectional Autoregression in Latent Space for Learning Human Movement Representations)」を発表した。この新フレームワークは、3次元 (3D) ポーズシーケンスから人間動作の重要な特徴を抽出し、意味ある表現として学習することを可能にする。人間行動の予測や理解に不可欠な基盤技術であり、モデリングの精度向上に寄与すると期待される。
Genki Kinoshita氏とKo Nishino氏によって提案された自己教師あり学習フレームワーク「BAL」は、人間動作表現学習における従来の課題を克服することを目指している。既存の自己教師あり学習手法の多くは、データ拡張に対する不変性や、特定の時間スケールでのマスク領域の復元可能性といった、ある種の人工的な仮定に基づいた監督信号を利用している。しかし、これらの仮定は、人間の複雑で多様な動作パターンを完全に捉える上では限界があると考えられてきた。
BALは、これら既存手法のアプローチとは一線を画し、人間動作が本来的に持つ監督信号、すなわち日常的な行動の自然な順序構造に着目している。人間は、他者の行動を見る際に、その個々の関節の正確な動きを逐一追うのではなく、より抽象的で意味的なレベルで行動の流れや意図を予測する。BALはこの人間認知のメカニズムを模倣し、意味的に抽象化された潜在空間において自己回帰的な予測を行うことで、人間動作の理解を深める。具体的には、3Dポーズシーケンスから得られる各時点の情報を潜在空間にマッピングし、その空間内で未来の行動だけでなく、過去の行動も予測する双方向自己回帰予測を取り入れている。
この双方向のアプローチは、時間的な前方および後方の制約を最大限に活用することを可能にする。推論時には、過去の文脈だけでなく未来の文脈も合わせて利用することで、より豊かで高精度な人間動作表現の抽出が実現される。例えば、ある時点での動作が直前の動作からどのように発展し、さらにその後の動作へとどう繋がるのかといった、動作シーケンス全体にわたる因果関係や時間的依存性を効果的に学習できる。
さらに、BALでは表現の崩壊(representation collapse)を抑制するための独自のメカニズムが導入されている。これは、学習された表現が全ての入力に対して同一の、あるいはごく限られた情報しか持たない状態に陥ることを防ぐための工夫である。BALは、各予測ターゲットを二つの異なるコンポーネントに分解する。一つはシーケンス全体の意味を捉えるグローバルなコンポーネントであり、もう一つは文脈に依存しない局所的な動きの要素を捉えるローカルなコンポーネントである。この分解により、モデルは動作の全体的な流れと個々の細かい動きの両方をバランス良く学習し、より堅牢で多角的な表現を獲得できる。
研究チームは、BALの有効性を検証するために大規模なデータセットを用いた広範な実験を実施した。その結果、BALが学習した表現が、モーションキャプション(動作内容の言語記述生成)、動作予測(将来の動作予測)、および動作補間(欠落した動作フレームの推定)といった複数のタスクにおいて極めて高い有効性を示すことが確認された。ほとんどの評価指標において、既存のベースライン手法を上回る性能を発揮し、人間動作理解の分野におけるBALの優位性が実証された。この研究成果は、国際的な機械学習の学術会議であるNeurIPS 2026に採択されている。
参考: arXiv cs.CV — 2026年11月14日 03:58 (JST)
原文ハイライト"Bidirectional Autoregression in Latent Space for Learning Human Movement Representations"