NVIDIAは2026年6月16日(現地時間)、ARグラスやXRデバイス向けのマルチモーダルAIエージェント構築フレームワーク「NVIDIA XR AI」をパブリックベータとして公開した。このライブラリは、AIエージェントが物理世界で認識、推論、行動するための基盤を提供する。
NVIDIA XR AIは、ARグラスやXRデバイスからの映像、音声、深度、姿勢、センサーデータなどの実世界信号を取り込み、AIモデル、エンタープライズデータ、ツール、アクセラレーテッドコンピューティングと連携させる。これにより、エージェントは作業の流れの中でユーザーを支援する。
同フレームワークは、ビジュアルAIおよびビデオ理解のためのNVIDIA MetropolisやNVIDIA Metropolis for video search and summarization (VSS)、エンタープライズ知識検索のためのNVIDIA NeMo Retrieverを含む専門ツールやサービスにエージェントを接続する。また、NVIDIA Nemotron推論モデルやNVIDIA Cosmos Reasonなど、幅広いAIモデルエコシステムをサポートする。さらに、NVIDIA NeMo Agent Toolkitによるエージェントオーケストレーションと、NVIDIA DGX Spark、NVIDIA DGX Station、NVIDIA RTX PRO systemsなどのアクセラレーテッドコンピューティングプラットフォーム上での推論ランタイムサービスを統合する。
NVIDIA XR AIは、製造、科学、ヘルスケア、デザイン、没入型学習など様々な分野で活用されている。シーメンスはNVIDIA XR AIとNVIDIA DGX Sparkを用いて、工場エンジニアがメンテナンス情報を見つけ、トラブルシューティングを行い、作業を検証し、現場で発生した事柄を記録する方法を研究している。また、オートバイオ (AutoBio) 傘下のラナ (Rana) は、スタンフォード大学医学部のCong Labやプリンストン大学のWang Labにおける幹細胞療法および遺伝子編集研究を皮切りに、科学ワークフローに空間インテリジェンスをもたらすLabOSシステムをNVIDIA XR AI上に導入している。
LabOSはMeta、Rokid、VITUREのスマートグラスと互換性がある。VITUREはNVIDIA XR AIをウェアラブルインターフェースに統合した。ピッツバーグ大学メディカルセンター (University of Pittsburgh Medical Center) のSurreality Labは、手術チームが文脈に応じた支援を受けられるようNVIDIA XR AIの活用を展示した。自動車デザインではイノアクティブ (Innoactive) が、アトランティック・スタジオ (Atlantic Studios) は没入型メディア体験においてNVIDIA XR AIを使用し、観客がタイタニックの没入型スキャンを探索することを可能にしている。
参考: NVIDIA Blog (AI) (アーカイブ) — 2026年6月17日 07:30 (JST)
原文ハイライト"AI is moving beyond chatbots and copilots into the physical world."