Meta 发布两个 24K H100GPU 集群用于训练 Llama-3

[db:摘要]

Meta 在官网发布两个 24K H100GPU 集群,专为训练大型模型 Llama-3 而设计。Llama-3 采用 RoCEv2 网络和 Tectonic/Hammerspace 的 NFS/FUSE 网络存储。预计在 4 月末或 5 月中旬上线,可能是多模态模型并继续开源。Meta 计划到 2024 年底拥有 600,000 个 H100 的算力。

本文由「aiuc」编辑整理,文章链接:https://www.aiuc.net/21026

该文观点仅代表作者本人,平台仅提供信息存储空间服务。

(0)
aiucaiuc
上一篇 2024年3月13日
下一篇 2024年3月13日

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注