NVIDIA将为使用 RTX 40和RTX 30 GPU的Windows 11 PC带来高达5倍的AI加速

数码开箱 • 2023年11月16日 18:54 • 投稿

NVIDIA正在为数百万台由其最新RTX GPU提供支持的Windows 11 PC带来人工智能工作负载的巨大加速。

继先前的公告之后，NVIDIA现在透露TensorRT-LLM正在添加到Windows 11中，并将在11月21日在最新驱动程序中发布时为超过1亿RTX用户启用。这项消息是在Microsoft的Ignite大会上宣布的，这是一个讨论人工智能的未来以及随着我们的发展它将如何改变Windows生态系统的重要活动。

今天NVIDIA确认TensorRT-LLM AI加速将适用于所有有超过8GB VRAM的RTX台式机和笔记本电脑。除了TensorRT-LLM之外，NVIDIA和Microsoft还带来了DirectML增强功能，以推动稳定扩散和Llama 2等流行的AI模型。

拥有支持TensorRT-LLM的NVIDIA RTX GPU意味着您可以在本地使用所有数据和项目，而不是将它们保存在云端。这将节省时间并提供更精确的结果。 RAG或检索增强生成是通过使用本地化库来更快地获得AI结果的技术之一，该本地库可以填充您希望LLM经历的数据集，然后利用该LLM的语言理解功能为您提供准确的结果。

NVIDIA表示TensorRT-LLM v0.6.0的效能提升了5倍，该版本将于本月稍后推出。此外它还将支持其他LLM，例如Mistral 7B和Nemotron 3 8B。

对于想要尝试最新版本的TensorRT-LLM的人，可以通过此处的官方Github链接进行安装，并且您还可以从NVIDIA的NGC资源取得最新的优化模型。

另一个关键更新是OpenAI，这是一种非常流行的基于人工智能的聊天API，具有广泛的应用程序，例如帮助处理文件、电子邮件、总结Web内容、数据分析等等。再次强调，数据需要由用户手动上传或输入，因此对本地数据的存取相当有限，尤其是在数据集很大的情况下。

为了解决这个问题，NVIDIA和微软将通过一个新的包装器为OpenAI的ChatAPI提供API，该包装器不仅可以在Windows PC上添加TensorRT-LLM加速，还可以让用户访问与在有RTX的PC上本地运行类似的工作流程或在云端。因此您不必将任何数据集上传到ChatAPI，因为整个数据集都可供ChatAPI使用，就像在本地可用一样。

自定义包装器几乎可以与任何已针对TensorRT-LLM优化的LLM配合使用。优化的LLM的一些例子包括Llama 2、Mistral、NV LLM，很快就会添加更多。它也将在NVIDIA GitHub页面上提供。

这些公告表明NVIDIA希望不仅为企业，也为主流受众加速人工智能的发展。对于AI，软件比运行它的硬件更重要，而TensorRT-LLM等开发将其带给数百万RTX用户绝对是一件大事。未来几年随着越来越多的竞争对手试图用其独特的AI方法来吸引受众，通往AI霸主地位的道路将变得更加激烈，但目前NVIDIA拥有硬件和软件专业知识，可以顺利地为他们铺平道路。