NVIDIA 发布新一代运算、加速GPU架构Hopper与首款H100 SXM / PCIe / CNX/DGX产品

游研社 • 2023年9月29日 09:35 • 投稿

NVIDIA 2022 GTC 由 Jensen Huang CEO 的 Keynote 演讲中，正式揭晓新一代 NVIDIA Hopper 微架构与首款 H100 GPU，将再次提升运算、加速、AI 平台的处理效能。

NVIDIA Ampere 微架构发布后 2 年后，正式推出 NVIDIA Hopper 微架构，命名来自于美国先驱计算机科学家 Grace Hopper。

同时推出首款采用英伟达Hopper微架构的GPUNVIDIA H100，采用TSMC定制4N工艺多达800亿晶体管，更有着革命性的Transformer Engine与第四代NVIDIA NVLink，能够针对巨大AI语言模型、深度推荐系统、基因学与复杂的数字孪生进行加速。

H100 更是首款支持PCIe 5.0的GPU以及整合HBM3 内存，高达3TB/s的内存带宽，效能更是上一代A100的翻倍提升，FP8 4，000 TFLOPS、FP16 2，000TFLOPS、FP64 60 TFLOPS、TF32 1，000 TFLOPS的惊人效能，但相对TDP也来到700W之高。

这代 Hopper 微架构当中，有着全新「Transformer Engine」，这是目前处理自然语言的标准模型亦是深度学习中最重要的模型之一，H100 加速 Transformer Engine 能够带来 6 倍的效能提升并且不会损失准确性。

「二代 Secure Multi-Instance GPU」MIG 技术可允许单一 GPU 分切为 7 个小型独立的单元处理不同的作业类型;并且 H100 是首款支持「Confidential Computing」的加速器，对于资料私密性较为敏感的健康、金融等服务，可利用这技术确保数据安全性。

新加入的「DPX 指令」可加速Dynamic Programming 使用广泛算法（Broad Range of Algorithms），包含 Route Optimization 与 Genomics 等功能，比起 CPU 可达到 40x 倍的速度提升、对比上一代 GPU 则可有着 7x 倍提升。包含着 Floyd-Warshall 算法，可让自主机器人于仓库环境中找到最佳路径，以及 Smith-Waterman 算法用于 DNA 和蛋白质分类、折叠的序列比对法。