AI注目記事のキュレーターページ

AIインフラにおいて、電力は避けられない制約です。AIファクトリーが固定された電力予算内で生成できるトークンの数が、その収益性を決定します。このため、ワットあたりのパフォーマンスは、実際の結果を通じて得られるものであり、AIファクトリーの基盤となる重要な指標です。エージェントAIがトークン需要を高める中、今日のインフラ選択が、電力制約のある世界で誰がスケールするかを決定します。ほぼすべての最前線のAIモデルは、Mixture-of-Experts（MoE）アーキテクチャで動作しています。これらの大規模モデルを効率的に提供するためには、GPUドメインサイズ、つまり超高速のスケールアップインターコネクトで接続されたGPUの数が重要であり、大きいほど良いのです。NVIDIA Hopper世代は8GPUドメインで基準を設定しましたが、今日の最前線のAIのスケールはそれを超えています。MoEを72GPUドメインで提供するには、フルスタックの共同設計と、実際の生産負荷の下でこれらのモデルを運用することで得られる運用の深さが必要です。NVIDIA Blackwell NVL72プラットフォームは、その基盤がすでに構築され、実証されており、収益を最大化するための最高のワットあたりのパフォーマンスを提供し、利益率を最大化するための最低のトークンコストを実現しています。この基盤の上に、NVIDIA Vera Rubinプラットフォームがさらにラックスケールのエネルギー効率を高めるために構築されています。最前線のAIのためのワットあたりのパフォーマンスを最大化するために、各新世代の最前線モデルは、より大きな知性を解放するアーキテクチャの変更をもたらし、効率的にスケールで動作するための新しい最適化を要求します。最新のオープンモデルの世代全体で、NVIDIA GB300 NVL72はNVIDIA Hopper世代と比較して最大25倍のワットあたりのパフォーマンスを提供します。これらの数値は、Blackwellが今日どのような位置にあるかを反映しており、改善が続いています。単一の数値は物語の一部しか語りません。異なるワークロードは異なる動作点を要求します。NVIDIAは、各モデルのパレート曲線を示し、単一のポイントではなく、チームが検証にGPU時間を費やす前にパレートフロンティア上の最適なポイントを見つけるのを助けるツールを提供しています。AIファクトリーでは、冷却やラックレベルの非効率に失われる電力は、グリッドから引き出された電力の約60％しか有用なAI作業に変換されません。NVIDIA DSX MaxLPSは、NVIDIA DSXプラットフォームの電力と効率のソフトウェアで、リアルタイムでGPUとラック間の電力をシフトし、温水液冷をサポートし、パワーステアリングなどの技術を使用して、より多くのパフォーマンスを引き出します。これにより、オペレーターは同じ電力予算内で最大40％多くのGPUを運用できるようになります。ラックスケールの信頼性は、AIファクトリーのスケールで得られるものです。ラックスケールシステムは、単一ノードの展開では遭遇しない故障モードを導入し、それを処理するにはエンジニアリングの厳密さと生産での時間が必要です。NVIDIA Blackwell NVL72システムは、さまざまなモデルと生産ユースケースで基準を設定し、実際のトラフィックの下で持続的なパフォーマンス、ラックレベルの信頼性、経済性を提供します。これが、Anthropic、OpenAI、SpaceXAIなどの主要なAIラボがNVIDIA Blackwell NVL72システムを使用して推論を実行する理由です。さらに、さまざまな推論サービスプロバイダーやAIネイティブが、オープンモデルを生産に展開するためにBlackwellプラットフォームを使用しています。この蓄積された生産経験は、最前線のモデルと実世界の展開を通じて構築されており、NVIDIA Vera Rubinに先行する理由です。