NVIDIA GB300 NVL72 leads AgentPerf benchmark, running 20x more AI agents per megawatt than Hopper.这就是为什么它对人工智能基础设施很重要。
NVIDIA 的 Blackwell GB300 NVL72 平台已成为首个 AgentPerf 基准测试中的佼佼者，该基准测试由 Artificial Analysis 设计，旨在评估代理 AI 工作负载的基础设施。根据 2026 年 6 月 12 日发布的结果，与 NVIDIA 的 Hopper 架构相比，GB300 NVL72 每兆瓦功率运行的代理数量多出 20 倍。 This efficiency leap underscores Blackwell’s potential to redefine AI infrastructure for enterprises scaling agentic systems.
Agentic AI differs fundamentally from traditional conversational AI.代理工作负载不是单轮交互，而是涉及复杂的多步骤任务，其中代理将数十甚至数百个大型语言模型 (LLM) 调用链接在一起，在每个步骤中集成数据库搜索、代码执行或网页浏览等工具。这种复杂性使得传统的人工智能基准测试不够充分，因为它们专注于孤立的法学硕士表现，而不是连续的、工具增强的工作流程的现实需求。
为何 NVIDIA Blackwell 占据主导地位
Key to Blackwell’s dominance is its full-stack optimization. GB300 NVL72 在单个机架规模系统中集成了 72 个 GPU，可高效分发大型专家混合 (MoE) 模型，例如 DeepSeek V4 Pro，为领先的代理应用程序提供支持。 NVIDIA 的 CUDA 内核和 TensorRT LLM 软件通过重叠计算和通信任务、最大限度地减少延迟并随着并发代理会话的增长提高可扩展性，进一步增强性能。
AgentPerf 的方法强调了这种可扩展性。该基准测试模拟现实世界的代理编码任务，测量系统可以同时支持多少任务，同时保持严格的响应能力和输出速度性能阈值。 Blackwell 在满足这些阈值的同时维持高并发水平的能力凸显了其在提供经济高效、高性能人工智能基础设施方面的优势。
对人工智能基础设施的影响
The results of this benchmark are significant for enterprises deploying AI at scale.随着推理工作负载的增长，运行代理任务的成本和能源效率（以每兆瓦代理来衡量）成为一个关键指标。对于投资人工智能基础设施的公司来说，NVIDIA Blackwell 的性能可直接转化为更低的运营成本和更高的每美元投入生产率。
The broader market context further underscores this point.由于推理已经在人工智能基础设施支出中所占的份额越来越大，AgentPerf 等工具将行业的焦点从原始模型质量转移到基础设施能力。这种转变反映了企业在扩展代理系统时面临的挑战，其中编排、内存管理和部署拓扑通常决定成功。
采用和生态系统整合
NVIDIA Blackwell 的早期采用者包括 Together AI 和 DeepInfra 等公司，它们正在利用其性能为现实世界的代理应用程序提供支持。 Together AI, for instance, uses Blackwell to support Cursor, a coding platform where agents debug, refactor, and generate code in real time.同样，DeepInfra 为 Pam.ai 提供支持，这是一个面向汽车经销商的人工智能劳动力平台，该平台使用代理来处理调度和销售推广等任务。
随着 NVIDIA 不断完善其软件堆栈并推出 Vera Rubin 等新架构，该公司的目标是进一步提高代理工作负载的性能。 Given the benchmark results, Blackwell appears poised to set the standard for next-generation AI infrastructure.
The AgentPerf benchmark is a turning point, emphasizing the importance of workload-specific evaluation in AI deployments.对于企业来说，以更少的功率运行更多代理的能力可能是代理人工智能时代可扩展成功和运营瓶颈之间的区别。