NVIDIAGPU为Meta的下一代Llama3模型提供动力并在包括RTX在内的所有平台上优化了AI

新闻稿：NVIDIA今天宣布对其所有平台进行优化，以加速最新一代大语言模型(LLM)MetaLlama3。开放模型与NVIDIA加速计算相结合，使开发人员、研究人员和企业能够在各种应用程序中进行负责任的创新。

接受过NVIDIAAI培训

Meta工程师在包含24,576个H100TensorCoreGPU并与Quantum-2InfiniBand网络连接的计算机集群上训练Llama3。在NVIDIA的支持下，Meta为其旗舰LLM调整了网络、软件和模型架构。

CoreWeave通过将NVIDIAH100GPU作为“抵押品”1成功获得23亿美元债务

为了进一步推进生成式人工智能的最先进水平，Meta最近描述了将其基础设施扩展到350,000个H100GPU的计划。

企业可以使用NVIDIANeMo对其数据进行微调Llama3，这是一种适用于法学硕士的开源框架，是安全且受支持的NVIDIAAIEnterprise平台的一部分。自定义模型可以使用NVIDIATensorRT-LLM进行推理优化，并使用Triton推理服务器进行部署。

将Llama3带到设备和PC上

Llama3还在JetsonOrin上运行，用于机器人和边缘计算设备，创建类似于JetsonAI实验室中的交互式代理。此外，适用于工作站和PC的RTX和GeForceRTXGPU可以加快Llama3上的推理速度。这些系统为开发人员提供了全球超过1亿个NVIDIA加速系统的目标。

使用Llama3获得最佳性能

为聊天机器人部署LLM的最佳实践涉及低延迟、良好的读取速度和最佳GPU使用以降低成本之间的平衡。这样的服务需要以大约用户阅读速度的两倍(大约每秒10个令牌)提供令牌(大致相当于法学硕士的单词)。