Supermicro 利用搭载 HBM3e 内存的 NVIDIA HGX H200 和 MGX Grace Hopper 平台拓展 AI

育碧 • 2023年11月15日 14:13 • 投稿

Supermicro 扩阔 8-GPU、4-GPU 和 MGX 产品线来支持 NVIDIA HGX H200 和 Grace Hopper 超级芯片，为大型语言模型应用程序提供更快更大的 HBM3e 内存，载 NVIDIA HGX 8-GPU 的 Supermicro 新型创新 4U 液冷服务器使每机架的计算密度提高了一倍，功率高达每机架 80 千瓦，降低了总体拥有成本（ TCO)

Supermicro 即将推出配备 H200 Tensor Core GPU 的全新 NVIDIA HGX H200 产品线，从而扩展在人工智能领域的影响力。 Supermicro的人工智能平台（包括8U和4U通用型GPU系统）均可直接插入HGX H200 8GPU和HGX H200 4GPU，相较于NVIDIA H100 TensorCore GPU，HGX H200的HBM3e内存容量和带宽分别提高了近2倍和1.4倍。

此外，Supermicro NVIDIA MGX 系统的广泛产品组合还支持即将推出的搭载 HBM3e 内存的 NVIDIA Grace Hopper 超级芯片。凭借性能、可扩展性和可靠性，Supermicro 的机架式人工智能可加速计算密集型生成式人工智能、大型语言模型（LLM）训练和HPC应用程序的性能，同时满足不断增长的模型规模发展需求。 Supermicro 利用积木式架构，可以快速将新技术推向市场，使客户能够尽早提高生产力。

Supermicro 还推出了密度相当高的服务器，在 4U 液冷系统中搭载 NVIDIA HGX H100 8-GPU 系统，采用最新的 Supermicro 液冷解决方案。这款高性能GPU服务器，使数据中心运营商能够减少占地面积和能源成本，同时在单个机架中提供最高效能的人工智能训练能力。凭借密度最高的GPU系统，企业可以利用尖端的液冷解决方案降低总体拥有成本。

配备 NVIDIA GPU 的 Supermicro 服务器

Supermicro 设计并制造了多种不同外形尺寸的人工智能服务器产品组合。受欢迎的 8U 和 4U 通用型 GPU 系统采用了四路和八路的 NVIDIA HGX H100 GPU ，现在可以直接插入全新 H200 GPU，在更短的时间内训练更大的语言模型。每个 NVIDIA H200 GPU 包含 141GB 内存，带宽为 4.8 TB/s。

此外，最近推出的搭载 NVIDIA GH200 Grace Hopper 超级芯片的 Supermicro MGX 服务器也采用了搭载 HBM3e 内存的 NVIDIA H200 GPU。

全新 NVIDIA GPU 能够加速当今和未来的大型语言模型（LLM），使其在更紧凑、更高效的集群中容纳上千亿的参数，从而以更短的时间训练生成式人工智能，同时允许在一个系统中容纳多个更大的模型，进行实时 LLM 推理，为数百万用户提供生成式人工智能服务。

在SC23大会上，Supermicro展示了最新款的4U通用型GPU系统，该系统采用八路NVIDIA HGX H100及公司最新的液冷创新技术，进一步提高了密度和效率，推动了人工智能的发展。凭借Supermicro领先业界、为绿色计算而设的GPU和CPU冷板、CDU（冷却液分配装置）和CDM（冷却液分配歧管），全新的4U通用型液冷GPU系统亦为八路NVIDIA HGX H200做好了准备，通过Supermicro完全集成的机架式液冷解决方案和L10、L11和L12验证测试，将大幅减少数据中心的占地面积、电力成本和部署障碍。