速度出众：NVIDIA Blackwell 在最新 MLPerf 推论测试结果中拔得头筹

NVIDIA GB200 NVL72 系统即使在模型变得更大、更复杂的情况下，依旧能够以出色的吞吐量提升 AI 工厂的盈利能力。

在反映部分高难度推论情境的最新MLPerf Inference V5.0基准测试中，NVIDIA Blackwell平台创下多项纪录，这也是NVIDIA首次使用专为人工智能（AI）推理作业设计的机架规模解决方案NVIDIA GB200 NVL72系统来提交MLPerf测试报告。

速度出众：NVIDIA Blackwell 在最新 MLPerf 推论测试结果中拔得头筹

为落实打造尖端 AI 的承诺，需要称为 AI 工厂的新型计算基础设施。与传统的数据中心不一样，AI 工厂不只是用于储存与处理数据，而是通过将原始数据转换为实时洞察，来大规模制造智能。 AI 工厂的目标很简单：用最低成本，尽量为最多的用户快速提供准确的查询答案。

要做到这个目标的复杂性相当高，并且是在幕后进行。随着 AI 模型加大到有着数十亿甚至数兆个参数，以提供更聪明的回复内容，产生每个词符（token）所需的运算量也随之增加。这项需求会减少 AI 工厂可产生的词元数量，并且提高每个词元的成本。如果想要保持高推论吞吐量和低单位词符成本，就必须在芯片、网络系统和软件等技术堆栈的每一层快速进行创新。

经同业审查的推论效能业界基准MLPerf Inference，其最新更新项目包括加入Llama 3.1 405B，这是规模最大且最难运行的开放权重模型之一。与原本的 Llama 2 70B 基准相比，新的 Llama 2 70B Interactive 基准有着更严格的延迟要求，更能反映生产部署环境在提供最佳用户体验方面的限制。

除了 Blackwell 平台之外，在全端优化的助力下，NVIDIA Hopper 平台也全面展现出优异效能，在 Llama 2 70B 上的效能较去年显著提升。

连接72颗NVIDIA Blackwell GPU作为单一大型GPU的GB200 NVL72系统，在Llama 3.1405B基准测试中的吞吐量，比本轮使用NVIDIA H200 NVL8提交的结果高出30倍。这项壮举是通过每颗GPU提高三倍的效能，再加上高出九倍的NVIDIA NVLink互连域助力下来达成。

虽然许多公司都在其硬件产品上进行MLPerf基准测试以评估性能，但只有NVIDIA及其合作伙伴提交并公开Llama 3.1 405B基准测试的结果。

生产推论部署环境通常在两大关键指标上有延迟限制。首先是产生首个词符的时间（TTFT），也就是用户需要花多少时间才能开始看到大型语言模型对查询的回应。再者是产生每个输出词符的时间（TPOT），也就是将词符传送给用户的速度。

全新 Llama 2 70B Interactive 基准测试的 TPOT 缩短了五倍，TTFT 则降低了 4.4 倍，可以创造出反应更迅速的用户体验。 NVIDIA 在本轮测试所提交的测试报告中，使用搭载 8 颗 Blackwell GPU 的 NVIDIA DGX B200 系统，其效能较搭载 8 颗 NVIDIA H200 GPU 的系统高出三倍，为这项更具挑战性的 Llama 2 70B 基准树立更高标准。

结合 Blackwell 架构及其经过优化的软件堆叠，可以让推论效能更上一层楼，为 AI 工厂打好基础，以提供更高的智能、更高的吞吐量与更快的词符生成率。

NVIDIA Hopper 架构于2022年推出，驱动了现今许多AI推论工厂，也持续支持训练各种模型。通过持续的软件优化，NVIDIA 提升了采用 Hopper 架构 AI 工厂的吞吐量，进而创造出更庞大的价值。

在一年前于MLPerf Inference v4.0首次推出的Llama 2 70B基准测试中，H100 GPU的吞吐量增加了1.5倍。 H200 GPU以相同的 Hopper GPU 架构为基础，搭配更大、更快的 GPU 内存，又将吞吐量加大到 1.6 倍。

Hopper 架构也执行了所有的基准测试，包括新加入的 Llama 3.1 405B、Llama 2 70B Interactive 及图形神经网络测试。这种多样性代表 Hopper 可以运行多种工作负载，并在模型和使用情境变得更具挑战性时跟上脚步。

在本轮MLPerf测试中，共有15家合作伙伴提出使用NVIDIA平台进行测试的优秀成绩，包括华硕、思科、CoreWeave、戴尔科技集团、富士通、技钢科技（Giga Computing）、谷歌 Cloud、慧与科技、Lambda、联想集团、Oracle Cloud Infrastructure、云达科技、美超微、 Sustainable Metal Cloud 和 VMware。

从参赛作品的广度可以看出英伟达平台的影响力，全球所有云服务供应商及服务器制造商皆可使用 NVIDIA 平台。