Apple ML Researchは10月25日(現地時間)、少数の入力画像と表情信号から、人物の3D頭部をリアルタイムでアニメーション化する新手法「GHARP」を発表しました。この技術は、対象の幾何形状と外観を事前に構築する「アイデンティティステージ」と、実行時に表情に応じた変化を予測する「アニメーションステージ」に問題を分けることで、高い忠実性、品質、そして実用的な実行時間のバランスを実現します。
GHARP（ガーブ）は、主に訓練済みの再構築モデルが提供するセマンティックな潜在空間でアニメーションを実行する点に特徴があります。このアプローチにより、表情の変化が空間的に限定されるため、残差予測のプロセスが効率化され、高速な処理を可能にします。再構築プライアは、頭部全体の形状やテクスチャに関する一貫した空間配置を提供し、複数の異なる視点からの入力画像をコンパクトかつ固定サイズの正規ガウス表現に統合することを可能にしています。
従来の表情駆動型アバター手法には、表情コードが顔の動きのみを記述し、体位や衣服の位置といった身体全体の整合性に関する情報が欠落するという課題がありました。これにより、アバターと現実の被写体の間で姿勢や全体の配置に不自然さが生じることがしばしばありました。GHARPは、この課題に対しボディ・アライメント・ネットワーク (body alignment network)を導入することで対応しています。
このボディ・アライメント・ネットワークは、ターゲットとなる画像内の人物の身体を、入力として与えられた参照画像と整合させることを学習します。これにより、表情だけでなく、頭部の向き、肩の動き、あるいは衣服のわずかなひだといった、顔以外の要素も自然にアニメーションに組み込むことが可能となります。結果として、訓練信号の曖昧さが解消され、より一貫性があり、視覚的に説得力のある3D頭部アニメーションが生成されます。
性能面では、GHARPは、リアルタイム3Dアバターの品質を評価する主要なベンチマークであるAva-256において、既存の最先端技術を凌駕する品質を達成しています。また、実行効率においても優位性を示しており、NVIDIA A100 GPU上では、ガウス数を8分の1に抑えることで、最大で13倍の高速動作が確認されました。これは、リアルタイムでのインタラクティブなアプリケーションや、大規模なコンテンツ制作パイプラインにおいて、GHARPが実用的な選択肢となる可能性を示唆しています。
本技術は、バーチャル会議、オンライン教育、インタラクティブなエンターテイメント、さらにはメタバースといった、高精度なデジタルヒューマンアバターが求められる多様な分野での応用が期待されます。特に、限られた入力情報から高品質な3Dアニメーションを生成できる能力は、クリエイターや開発者にとって新たな表現の可能性を広げるものとなるでしょう。
参考: Apple ML Research (アーカイブ) — 2026年10月26日 09:00 (JST)
原文ハイライト"Real-Time Gaussian Head Animation from Large-Scale Reconstruction Prior"