出典：NVIDIA Blog
クラウドコンピューティングが普及し始めた2010年代前半、企業がサーバーを選ぶ基準は「処理速度」から「コストあたりの処理量」へと静かに移行した。速いだけでは意味がない。同じ費用で、同じ電力で、どれだけの仕事をこなせるか。その問いが設備投資の判断を左右するようになった時期だ。
AIインフラが今、まったく同じ転換点を通過しつつある。
エージェント型AIの導入が本格化するなかで、「モデルの賢さ」よりも「インフラの効率」が経営判断を動かす変数になりはじめた。AIを使う企業にとって、電力コストは抽象的な環境負荷の話ではなく、月次のP&Lに直結する数字だ。データセンターの電力消費が逼迫するなか、同じ予算・同じ電力枠のなかで「いくつのエージェントを同時に走らせられるか」は、事業の拡張可能性そのものを意味する。
ところが、その問いに答えられる指標が、これまで存在しなかった。
従来のAIベンチマークは、単発の推論タスクを前提に設計されてきた。どれだけ速く回答を返せるか、どれだけ大量のトークンを処理できるか。これらは重要な指標だが、エージェント型AIの実態とはズレがある。エージェントは一問一答ではなく、複数のモデル呼び出しとツール呼び出しを連鎖させながらタスクを完遂する。従来の物差しでは、その複合的な負荷を正確に捉えられない。
その空白を埋めるために、評価機関Artificial Analysisが業界初のエージェント特化ベンチマーク「AgentPerf」を公開した。そしてそのファーストバッチで首位に立ったのが、NVIDIAのGB300 NVL72だ。旧世代のHGX H200と比べて、同じ電力量あたりに動かせるエージェント数が最大20倍というのが、今回公開された数字だ。
20倍という数字は、単なるスペックシートの更新ではない。言い換えれば、旧世代のインフラで100のエージェントを回すコストで、2,000のエージェントが動く計算になる。AIエージェントを業務の中核に据えようとしている企業にとって、この差は投資対効果の文脈で全く異なる意思決定を生む。
性能評価の基準が変わるとき、得をするのは新しい基準にいち早く適応した側だ。CPUからGPUへの移行期、スループットからレイテンシへの評価シフト、そして今回の「電力あたりのエージェント数」。それぞれの転換点で、旧来の指標に最適化されたままのプレーヤーは相対的に遅れをとった。AgentPerfの登場は、AIインフラ選定の「正しい問いかけ」を上書きするものとして機能する。
誰が得をするかを整理すると、シンプルだ。新しい物差しで上位に来るインフラを持つベンダーと、その物差しを使って調達判断を更新できた企業。逆に、旧来の速度指標で投資判断を固定させたままの組織は、コスト競争力の面で後手に回ることになる。
3行まとめ
- Artificial Analysisがエージェント型AIに特化した業界初のベンチマーク「AgentPerf」を公開した。
- NVIDIA GB300 NVL72は、旧世代のHGX H200と比べて1メガワットあたり最大20倍のエージェントを同時稼働できる結果を示した。
- AgentPerfは開発者・企業・インフラ提供者の三者を対象とし、電力あたり・アクセラレータあたりの同時エージェント数を共通指標として提示する設計になっている。
※以下は詳細
エージェントAI専用の評価軸がなかった理由
これまでのAI性能評価は、単発の推論処理を前提に設計されてきました。レイテンシ（応答速度）とスループット（処理量）が主な指標で、モデルが一問に対して一答を返す構造を想定していました。
エージェント型AIはこれとは異なる動き方をします。単一の問いに答えるのではなく、複数のLLM呼び出しとツール呼び出しを連鎖させながらタスクを実行します。この複合的な処理の積み重ねを、従来の指標では正確に評価できなかった。AgentPerfはその課題に対応するために開発された、エージェント処理に特化した評価フレームワークです。
ベンチマークは、実際の公開コードリポジトリから収集したコーディングエージェントの実行軌跡をもとに設計されています。定義されたレスポンシブネスと出力トークンレートの閾値を満たしながら、プラットフォームが同時にサポートできるエージェントタスクの数を測定します。結果は「アクセラレータあたりの同時エージェント数」と「メガワットあたりの同時エージェント数」の2軸で示されます。
GB300 NVL72が出した数字の中身
AgentPerfの最初の公開結果で、NVIDIA GB300 NVL72は複数のエージェントワークロードにおいて首位の成績を記録しました。
旧世代のHGX H200との比較では、同じ電力量（1メガワット）あたりに稼働できるエージェントの数が最大20倍に達します。この結果を支えているのは、複数の技術要素の組み合わせです。GB300 NVL72は72基のGPUをラックスケールで接続し、DeepSeek V4 ProのようなMoE（Mixture of Experts）モデルを効率的に分散実行できます。加えて、CUDAカーネルによる通信と演算のオーバーラップ、NVIDIA TensorRT LLMによる入力処理と出力生成の独立した最適化が組み合わさることで、フルスタックとしての処理効率を高めています。
誰がこの指標を使うのか
AgentPerfが対象として設定しているのは三者です。エージェントシステムを構築する開発者、エージェントAIを業務に組み込もうとしている企業、そしてAIインフラを提供するプロバイダー。
それぞれの立場で、ベンチマークの使い方が異なります。開発者は技術的な最適化の基準として参照し、企業はインフラ調達の費用対効果判断に使い、プロバイダーは自社システムの競争優位性を示す根拠として活用できます。共通の評価軸を持つことで、これまで横比較が難しかったシステム間の性能差を、同一条件で比較できるようになります。
全体まとめ
Artificial Analysisが公開したAgentPerfは、エージェント型AIに特化した業界初のベンチマークとして、AIインフラ評価の新たな基準軸を提供するものです。その初回結果でNVIDIA GB300 NVL72が首位となり、旧世代比で電力あたり最大20倍のエージェント処理能力を示しました。NVIDIAは引き続き推論ソフトウェアの最適化を進めており、次世代のVera Rubinアーキテクチャもすでに量産体制に入っています。エージェントAIの需要拡大を受け、インフラ容量の拡充も並行して進められています。