跳到正文
  1. Meta Engineering75

    深入 Meta Prometheus:吉瓦级超级集群的建设与可靠性工程

    Meta 详解吉瓦级超级集群 Prometheus 的硬件、网络与可靠性工程,其第一阶段已完成并用于训练 Muse 基础模型。集群目前拥有数十万 GPU,正向约 1 million GPUs 扩展;Muse Wonder 预训练和强化学习运行的有效训练时间占比分别超过 85% 和 90%。

    推荐理由:通过备用 GPU、分层故障恢复与逐项归因的工程实践,解释超大规模训练如何减少中断并提高有效吞吐量。

已经到底了