Google、XR環境で対話AIに手のジェスチャー付与「AgentHands」発表

Googleは2026年8月25日(現地時間)、拡張現実 (XR) 環境下での対話型AIエージェント向けプロトタイプ「エージェントハンズ (AgentHands)」を公開した。大規模言語モデル (LLM) を活用し、会話エージェントが音声に同期した表現豊かな手のジェスチャーを生成。これにより、空間に根ざしたガイダンスを提供し、ユーザーの物理的タスクへのエンゲージメントを高めることを目指す。従来の2D画面における視覚的オーバーレイを超え、XRプラットフォームでの没入感のある対話を強化すると見られる。

AgentHandsは、コンピュータと人間に関するインタラクション会議 (CHI: Computer-Human Interaction) 2026で発表された研究プロトタイプだ。プロジェクトアストラ (Project Astra) やジェミニ3.1フラッシュライブ (Gemini 3.1 Flash Live) といった先行技術が提供する物理的環境に関するリアルタイム対話機能を、3D空間におけるco-speech gestures (音声に同期したジェスチャー) で補完する。

AgentHandsは、人間がコミュニケーションで手を使うように、形を描写したり、動作を模倣したり、要点を強調したりする動作をAIエージェントに実装する。これは、GoogleのXRおよび人間とコンピューターのインタラクション (HCI: Human-Computer Interaction) の専門家による調査に基づき構築された。

同プロトタイプは、XR環境におけるバーチャルな手の「判読性」を定義するタクソノミーを、以下の6つの次元から構築している。

Handedness (手の使用数)
Gesture (ジェスチャーの種類)
Spatiality (空間における位置)
Temporal dynamics (時間的変化)
Interactivity (インタラクション性)
Visual Effects (視覚効果)

このワークフローは、まず軽量なオブジェクト登録モジュールから始まる。ユーザーの視線とシーン再構築により、物理的なオブジェクトを3Dバウンディングボックスとして登録する。次に、参照用、動作描写用、感情表現用の3つの意味カテゴリにわたるハンドジェスチャーのライブラリが構築される。ユーザーからの質問に対し、LLMはタクソノミーの次元に沿ったハンドジェスチャーのプリミティブを含む応答を生成する。最終的に、XRヘッドセット上のローカルパーサーがテキスト音声合成 (TTS: Text-to-Speech) とアニメーションエンジンを調整し、単語レベルのタイムスタンプを使用してエージェントの手のジェスチャーを音声と完全に同期させる。

このシステムは、Google XRのリサーチサイエンティストであるクン・チアン (Xun Qian) 氏と、インタラクティブ・パーセプション&グラフィックスのリードであるルオフェイ・ドゥ (Ruofei Du) 氏によって説明されている。

応用例として、蘭の世話に関する対話型指導、3Dプリンターの操作手順、健康的な習慣を支援するライフスタイルコンパニオンなどが示唆されている。参加者を対象としたユーザー調査では、音声のみのベースラインと比較し、XRとco-speech gesturesの組み合わせが空間的に根ざしたインタラクションに有効であることが確認された。参加者は、エージェントが参照する特定のオブジェクトの場所や方向を特定するのが有意に容易であると感じたという。

参考: Google Research Blog (アーカイブ) — 2026年8月26日 04:10 (JST)