NVIDIA发表最新MLPerf测试成绩，Jetson AGX Orin取得边缘AI效能领先

IGN • 2023年10月1日 17:08 • 投稿

采用Ampere架构的NVIDIA Orin低功耗SoC在MLPerf效能测试中创下AI推论新记录，推升了边缘AI运算的效能标杆。

Orin也加入MLPerf性能测试

MLPerf是由学术界、研究实验室和业界人士共同组成组织，旨在打造公正且能够反映实际应用情境的AI运算测试基准。在最新的MLPerf 2.0规范中，在边缘运算环境导入多数据流（Multi Stream）测试项目，测量边缘运算装置在多摄影机、多感应器情境的效能表现，以得到更贴近真实使用情况的数据。

Orin是针对边缘AI运算设计的低功耗SoC，除了能搭配Hyperion自驾车平台应于车用电脑，也适合多种机器人应用。在最新MLPerf 2.0性能测试中，Jetson AGX Orin的效能最高可达前代Jetson AGX Xavier的5倍，同时提供平均2倍的电力效率。

▲ MLPerf测试包含推荐系统、自然语言处理、语音识别、医学影像、影像分类、对象侦测等多个项目。

▲ MLPerf 2.0导入多资料流（Multi Stream）测试项目，测量边缘运算装置在多摄影机、多感应器情境的效能表现。

▲ 根据最新MLPerf 2.0性能测试，Jetson AGX Orin的效能最高可达前代Jetson AGX Xavier的5倍，同时提供平均2倍的电力效率。

▲ Jetson AGX Orin的性能表现也高于竞争对手Qualcomm Cloud AI100 DM.2。

▲ 同为PCIe适配器型式的产品NVIDIA A100也有高于Qualcomm Cloud AI100 PCIe的表现。

各测试项目中A100的性能皆领先Cloud AI100 PCIe，但部分项目的电力效率落后。 ▲ 各测试项目中A100的效能皆领先Cloud AI100 PCIe，但部分项目的电力效率落后。

▲ 在特定项目中，NVIDIA A100甚至有105倍于处理器的AI运算效能。

从测试数据可以看到多执行个体 GPU 仅会损失 2% 的效能。 ▲ 从测试数据可以看到多执行个体 GPU仅会损失2%的效能。

NVIDIA也透过数据表示现有的A100 GPU在众多测试项目都有出色表现，而且NVIDIA是唯一在所有MLPerf测试中都有提交成绩的公司，并透过测试成绩说明多执行个体 GPU（Multi-Instance GPU，MIG）能在几乎不影响效能的前提下进行GPU的虚拟化，增加使用弹性。