arXivは2026年9月27日(現地時間)、マウンテンバイクの動作品質評価 (AQA) に関する論文「V-JEPA 2 Meets AQA: Phase-Based Scoring and Reference-Based Feedback for Mountain Biking」を公開した。サンティヤ・ラジャン (Santhiya Rajan) 氏らは、V-JEPA 2のビデオ特徴と2次元の姿勢・動きの測定値を活用し、弱ラベルと候補フィードバックを用いる新たなパイプラインを構築。このシステムは、良質または不良なテクニックを示す95のジャンプクリップで訓練され、4つのヒューリスティックな段階に基づいて採点を行う。
サンティヤ・ラジャン氏とサヴィオ・カルドーズ (Savio Cardoz) 氏によるこの研究は、マウンテンバイクの動作品質評価 (AQA: Action Quality Assessment) における新たなアプローチを提示している。マウンテンバイクのジャンプなど複雑な動作の品質を評価し、具体的なフィードバックを提供することは、競技者のパフォーマンス向上に不可欠である。しかし、従来のAQAシステムでは、連続的な専門家による品質スコア、正確な段階境界、あるいは側面レベルの詳細なアノテーションといったリッチな訓練データが不足しているという課題があった。
本研究で提案されたパイプラインは、これらのデータ不足の課題を克服するため、弱ラベルデータセットとV-JEPA 2 (Video Joint Embedding Predictive Architecture 2) の強力なビデオ特徴を組み合わせている。訓練コーパスは、良いまたは悪いテクニックを示すバイナリラベルが付与された95のフィールド記録済みジャンプクリップで構成されている。これらのクリップには、連続的な専門家による品質スコアや段階境界、詳細なアノテーションは含まれていない。
構築されたパイプラインは、凍結されたV-JEPA 2ビデオ特徴と、マウンテンバイクの動きを捉える2次元の姿勢・動きの測定値を入力として統合する。具体的には、このシステムはジャンプ動作を「離陸前」「離陸」「空中」「着地」の4つのヒューリスティックな段階に分割し、それぞれの段階でパフォーマンスを評価する。小型のTransformerモデルがこれらの特徴量を用いてバイナリラベルスコア（良い/悪いテクニック）を予測する。さらに、参照層がシステムに組み込まれており、これは良いテクニックとされたクリップの段階固有の測定値と比較することで、特定の段階、身体パラメーター、および方向に関するフィードバック候補を提案する仕組みとなっている。例えば、あるライダーの空中姿勢が悪ければ、参照層は「膝をより引き上げる」といった具体的な改善点を提案できる。
システムの評価は5分割クリップレベル交差検証で行われた。フルスコアラーは、pooled out-of-fold AUROC (Area Under the Receiver Operating Characteristic curve) で0.768、平均精度で0.812を達成した。注目すべきは、生体力学的採点入力を除外した場合、AUROCが0.809に上昇した点である。これは、純粋なビデオ特徴が評価において重要な役割を果たす可能性を示唆している。ただし、これらの数値は探索的な性質のものであり、評価方法に限界があることも指摘されている。具体的には、報告されたフォールドがニューラルネットワークの訓練エポックも選択していることや、ライダーがフォールド間で分離されていないため、システムが特定のライダーの癖を学習してしまっている可能性がある。
17クリップの外部プローブを用いた評価では、以前のチェックポイントがバイナリ精度0.412、スピアマン相関 (Spearman correlation) で-0.135という結果を示した。候補となるフィードバックに関しては、2名のコーチに対して精度0.118、再現率1.0を示したものの、方向性については大幅な意見の不一致が見られた。これらの知見は、現在のシステムがライダーに依存しない普遍的な採点基準や、信頼性の高い修正フィードバックを確立していると結論づけるものではない。むしろ、それぞれの利用可能性をさらに経験的に評価するための具体的な研究課題を特定している。
参考: arXiv cs.CV — 2026年10月23日 13:00 (JST)
原文ハイライト"Phase-Based Scoring and Reference-Based Feedback for Mountain Biking"