0754
SIGNAL › テクノロジー
No.0754

NVIDIAがAIファクトリーの”見えない故障”を先読みするプラットフォームを出してきた

ADVERTISEMENT

出典:NVIDIA Blog

データセンターが変わった。ラックにサーバーを並べてネットワークをつなぎ、稼働率を維持する。それが長年のデータセンター運用の本質だった。監視ツールはCPU使用率やディスク残量を拾い、閾値を超えたらアラートを飛ばす。シンプルな因果関係で、熟練したSREなら経験則で問題の在りかを絞り込めた。

その前提が、AIインフラの登場で崩れた。

何千枚ものGPUが高速ネットワークで結ばれ、ひとつの学習ジョブのために同期しながら動く。1枚のGPUの温度が数度上昇するだけで、ジョブ全体のスループットが落ちる。NVMeドライブの書き込み速度がわずかに落ちたタイミングで、別のノードでキューが詰まり始める。因果関係の連鎖が長く、深く、速い。人間が画面を見てログを追う速度では、問題が表面化したときにはすでに被害が広がっている。

しかも従来の監視ツールは、役割ごとに分断されていた。ネットワークチームには自分たちのダッシュボードがあり、コンピュートチームには別のツールがある。SREと機械学習チームは異なるシグナルを見ている。GPUクラスター全体を「一枚のもの」として把握できる視点が、そもそも存在していなかった。

問題が起きたとき、最初に降ってくるのはアラートの嵐だ。数十、数百のアラートが同時に発火する。どれが根本原因で、どれが連鎖した結果なのか。その切り分けに時間を費やしている間、GPUは止まっている。止まったGPUは稼いでいない。AIファクトリーの運用において、これは直接的なコストだ。

NVIDIAがMinervaを出してきた背景には、この構造がある。問題が起きたあとに人間が追いかけるモデルは、AIファクトリーのスケールと複雑さには合わない。問題が起きる前に、システム自体が予兆を検出する。その発想の転換がMinervaの核心だ。

誰が得をするかは明確だ。数万枚のGPUを持つクラウドプロバイダーやAIインフラ企業にとって、GPUの稼働時間は収益に直結する。停止時間を1時間削れるだけで、インパクトは無視できない規模になる。一方で、従来の監視ツールベンダーにとっては、NVIDIAが自らAIOpsレイヤーに踏み込んできたという事実の重みを受け止めなければならない局面に入った。

AIインフラが社会の基幹になっていく流れを前提に置くと、「誰がその運用基盤を握るか」という問いは年々重くなる。ハードウェアを売り、ソフトウェアを売り、今度は運用監視の基盤まで垂直統合する。NVIDIAのこの動きは、その最前線にあたる。


3行まとめ

  • NVIDIAはAIファクトリーの運用チーム向けに、問題の予兆検出と稼働維持を目的としたAIOpsプラットフォーム「Minerva」を発表した。
  • インフラとAIワークロード双方のテレメトリデータをリアルタイムで収集・分析し、機械学習を用いて異常検出・障害予測・アラートの集約を行う。
  • IRENC、IBM、Tesla、Lambdaなど複数のパートナーがMinervaを導入済みまたは導入予定で、Dell・Lenovo・SupermicroはAIファクトリー運用ポートフォリオとして提供する予定。

※以下は詳細

ADVERTISEMENT

AIファクトリーとはどんな環境か

NVIDIAがMinervaの文脈で使う「AIファクトリー」とは、大規模なAIモデルのトレーニングや推論処理を担う計算インフラ全体を指す。膨大な数のGPUが高速ネットワークを介して連携して動作する環境で、世界で最も運用の複雑な部類に入るとされている。

単一のコンポーネントが劣化するだけでジョブ全体が遅延するケースがあり、問題の兆候はGPU温度の上昇やNVMeドライブの性能低下といった形で現れる。従来の監視ツールはネットワーク・コンピュート・SRE・機械学習チームごとに独立した視点でデータを扱っており、この複雑さには対応しきれていなかった。

Minervaの仕組みと機能

MinervaはGPU、ネットワーク、ストレージ、スケジューラー、ワークロードにわたるシグナルを統合し、インフラとAIワークロードの両方からリアルタイムのテレメトリデータを収集する。収集したデータをもとに、インフラのコンポーネントとその上で動くジョブを論理的にマッピングした「ダイナミックナレッジグラフ」を構築する。数十万規模のGPUを持つ環境でも、問題のあるコンポーネントまで追跡できる設計になっている。

分析エンジンは教師あり・教師なし機械学習を組み合わせており、1時間あたり数十億のデータポイントを処理する。正常な挙動を学習したうえで未知の異常を検出し、障害の予測や関連イベントの相関付けを行う。多数のアラートを1件の集約されたインシデントにまとめることで、運用チームはシステムが止まる前に対処できるようになる。

また、ネイティブのAIアシスタントを搭載しており、外部のエージェントAIツールとの接続も可能だ。ライブのテレメトリデータに基づく自然言語インターフェースを通じて、クラスターの状態確認や修復の推奨を受けることができる。

導入先と提供パートナー

Minervaを活用するNVIDIAパートナーの一社としてIRENCが挙げられており、AIファクトリーにおけるGPUの生産性最大化と顧客サービス向上に活用している。このほか、Aolani・Bitdeer AI・IBM・Jio・Lambda・Quake AI・TeslaがMinervaの導入を予定している。

ハードウェアベンダー側では、Dell Technologies・Lenovo・SupermicroがMinervaをAIファクトリー運用ポートフォリオの一部として提供する予定だ。

全体まとめ

NVIDIAはMinervaを通じて、AIファクトリーのGPU稼働時間の最大化を支援するAIOpsプラットフォームを提供する。同プラットフォームが重点を置く主要指標は、割り込みまでの時間の延長・修復時間の短縮・大量アラートから本当に対処が必要な通知だけを残すことによるインサイトの向上の3点となっている。インフラ、ワークロード、AIアシスタントの各レイヤーを一つのプラットフォームに統合した点がMinervaの特徴で、複数のハードウェアベンダーおよびAIインフラ事業者との連携を通じて展開される。

ADVERTISEMENT
NEXT READS
SIGNALへ戻る
— END OF ARTICLE —
SIGNAL