出典：NVIDIA Blog
スマートフォンが登場したとき、人々は最初「小さくなったPC」として受け取った。ところが実際に起きたのは、コンピューターの使い方そのものの刷新だった。地図アプリが道案内の概念を変え、カメラが写真文化を変え、電子決済が財布の存在意義を揺らした。「手の中にある」という物理的な事実が、人間の行動パターンを根から書き換えたのだ。
ARグラスでも、同じ転換が起きようとしている。
これまでARデバイスは「スクリーンが目の前にある」という体験として語られてきた。だが本質的な問いは別のところにある。「両手が空いている」という状態で使われるデバイスに、何を乗せるか——それがARの可能性を決める。
工場のラインに立つ作業員は、トラブルが起きたとき手を止めてマニュアルを引く。外科医は術中に患者データを確認するためにいったん手技から意識を外す。現場の営業担当者は商談中に資料を開くために目線をずらす。こうした「現場と情報の間にある断絶」が、AIによって埋まる可能性が見えてきた。
NVIDIAが公開した「NVIDIA XR AI」は、ARグラスやXRデバイス上で動作するAIエージェントを構築するためのフレームワークだ。映像・音声・センサーデータをリアルタイムで処理し、装着者が手を使わずにAIと対話できる環境を実現する。いわばAIを「画面の前に座って使うもの」から「現場で一緒に動くもの」へと転換させるためのインフラだ。
誰が最初にこの変化の恩恵を受けるかは、すでに輪郭が見えている。シーメンスは工場エンジニアの現場支援に活用を探り、スタンフォード大学やプリンストン大学の研究室では幹細胞・ゲノム編集研究のハンズフリーワークフローに組み込まれた。ピッツバーグ大学医療センターの外科チームも活用を発表した。製造・医療・科学研究という、「手を止めることのコストが最も高い」領域から展開が始まっている点は示唆深い。
PCがオフィスワーカーの生産性を変えたとき、変化の最前線は事務作業だった。スマートフォンがコミュニケーションを変えたとき、最初に影響を受けたのは移動中の人間だった。ARグラス上のAIエージェントが変えようとしているのは、「現場で体を動かしながら判断する人間」の働き方だ。影響が及ぶ対象が、これまでのコンピューティング革命とは異なる層にいる。
過去の技術転換を振り返ると、インフラの公開から実用普及までには相応の時間がかかった。それでも、フレームワークが開発者に開かれた瞬間から、次の使い方は現場の人間が作り始める。NVIDIAが今回パブリックベータを公開したことは、その起点に相当する。
3行まとめ
- NVIDIAはARグラス・XRデバイス向けにマルチモーダルAIエージェントを構築するフレームワーク「NVIDIA XR AI」をパブリックベータとして公開した
- 映像・音声・深度・姿勢・センサーデータをリアルタイムで処理し、ハンズフリー環境でのAI対話を可能にする
- シーメンス、スタンフォード大学・プリンストン大学の研究室、ピッツバーグ大学医療センターなど製造・医療・科学研究分野の複数機関がすでに活用を開始している
※以下は詳細
NVIDIA XR AIとは何か
NVIDIA XR AIは、ARグラスやXRデバイス上で動作するAIエージェントを開発するためのデベロッパーライブラリだ。映像・音声・深度・姿勢・センサーデータといったリアルタイム入力をマルチモーダルで処理する点が特徴で、装着者が手を使わずにAIと対話できる環境を実現する。
現在はパブリックベータとして開発者向けに公開されており、NVIDIA DGX Spark、DGX Station、NVIDIA RTX PROシステムなどのNVIDIAコンピューティングプラットフォームと連携して動作する。
フレームワークの機能
NVIDIA XR AIが提供するコア機能は4つに整理されている。ARおよびXRデバイスからの映像・音声・深度・姿勢・センサーデータの取り込み、視覚AIと映像理解を担うNVIDIA Metropolis VSSおよびエンタープライズ知識検索のためのNVIDIA NeMo Retrieverとの接続、NVIDIA Nemotron推論モデルやNVIDIA Cosmos Reasonを含むモデルサポート、そしてエージェントオーケストレーションとアクセラレーテッドランタイムサービスの統合だ。
AIエージェントが担う機能としては、周囲の環境の認識と理解、エンタープライズシステムからの情報取得、複雑なタスクへの推論、文脈に沿ったリアルタイムの支援提供が挙げられている。
製造・産業分野での活用
シーメンスは研究文脈において、NVIDIA XR AIとNVIDIA DGX Sparkを活用し、工場エンジニアがメンテナンス情報の検索、トラブルシューティング、作業確認、現場での記録取得を行えるシステムを探索している。軽量グラスを装着したエンジニアがAIエージェントにPLC（プログラマブルロジックコントローラー）の問題を質問すると、産業システム・デジタルツイン・自動化ワークフローと連携したリアルタイムのガイダンスが返ってくる仕組みだ。
VITUREはNVIDIA XR AIを統合したウェアラブルインターフェースを開発しており、作業員が現場で適切な情報を取得し次のステップを案内されるハンズフリー環境を実現している。
Innoactiveは自動車デザイン分野において、NVIDIA DGX Sparkを活用し、デザインレビューやプロダクトショールーム、デジタルツインといった没入型ワークフローから得られた情報やデータを記録・蓄積できる仕組みを構築している。
医療・科学研究分野での活用
AutoBio社傘下のRanaは、科学研究向けAIシステム「LabOS」をNVIDIA XR AI上に構築し、スタンフォード大学医学部のCong LabおよびプリンストンのWang Labにて幹細胞療法とゲノム編集研究を対象としたハンズフリーの実験ワークフロー支援を開始している。LabOSはMeta・Rokid・VITUREのスマートグラスに対応している。
ピッツバーグ大学医療センター（UPMC）のSurreality Labは、外科チームへの文脈対応支援にNVIDIA XR AIを活用する取り組みを発表した。NVIDIA DGX Station上で動作するこのシステムは、外科医の視野で遮断すべきでない部分を認識しつつ、有用な情報を提示できるよう設計されている。
没入型メディア分野での活用
Atlantic Studiosは、タイタニック号の没入型スキャンをユーザーが探索できる体験にNVIDIA XR AIを活用している。ユーザーは音声プロンプトで関心ポイントを探し、複雑な水中モデルをインタラクティブな空間体験として活用できる。
全体まとめ
NVIDIAはARグラス・XRデバイス向けAIエージェントフレームワーク「NVIDIA XR AI」をパブリックベータで公開した。映像・音声・深度・姿勢・センサーデータのリアルタイム処理に対応したマルチモーダル設計により、ハンズフリー環境でのAI活用を可能にする。シーメンスによる工場エンジニア支援の探索、スタンフォード・プリンストン両大学研究室での実験ワークフロー支援、ピッツバーグ大学医療センターの外科支援、自動車デザイン、没入型メディアと、製造・医療・科学研究・デザイン・エンターテインメントにまたがる活用事例がすでに進行している。フレームワークはNVIDIA DGX SparkやDGX Stationなどのコンピューティングプラットフォームと組み合わせて動作し、現場環境向けAIエージェントの構築基盤として提供されている。