NVIDIA BlackwellがエージェントAIインフラストラクチャベンチマークでリード
サマリー
NVIDIA Blackwell Ultra NVL72プラットフォームがエージェントAIのベンチマークで優れたパフォーマンスを発揮し、メガワットあたり20倍多くのエージェントを実行しています。エージェントAIは、会話AIとは異なり、複数のステップを通じてタスクを完了します。企業は、この新しいベンチマークを利用して、エージェントの応答性や同時展開数を評価できます。
本文
エージェントAIの業界初のベンチマークであるAgentPerfは、開発者、企業、インフラプロバイダーにエージェントAIシステムを比較する明確な方法を提供します。最初の結果では、NVIDIA Blackwell Ultra NVL72プラットフォームがテストされたエージェントAIワークロード全体で優れたパフォーマンスを発揮し、NVIDIA Hopperよりもメガワットあたり20倍多くのエージェントを実行しています。エージェントAIは、会話AIとは根本的に異なるワークロードであり、エージェントは目標を多くのステップに分解し、タスクが完了するまで継続的に動作します。エージェントは複数のLLM呼び出しとツール呼び出しを連鎖させ、文脈を収集し、観察し、推論し、行動します。これにより、数十から数百のLLM呼び出しが連鎖し、各呼び出しが次の呼び出しに文脈を渡します。エージェントAIのパフォーマンス測定においては、既存のAI推論ベンチマークが単一のLLM呼び出しを測定するのに対し、エージェントワークロードでは連鎖するLLM呼び出しやツール呼び出しの遅延が異なる方法でシステムにストレスを与えます。企業がエージェントを大規模に構築・展開する際には、エージェントの応答性、同時に展開できる数、投資したドルやワットあたりの有用な作業量を理解することが重要です。NVIDIA GB300 NVL72は、メガワットあたり20倍多くのエージェントを実行し、エージェントAIのパフォーマンスを測定します。AgentPerfは、実際のコーディングエージェントの軌跡に基づいて構築されており、エージェントはタスクを受け取り、ファイルを読み、コードを記述・編集し、コマンドを実行し、結果に基づいて反復します。これにより、プラットフォームが同時にサポートできるエージェントタスクの数が測定され、インフラ投資が実際にどれだけの生産的な作業を提供できるかが決まります。NVIDIAのエコシステムパートナーは、Blackwellの優れたパフォーマンスを活用しており、エージェントAIの需要が高まる中、次世代のインフラキャパシティを提供しています。