如何用 MLX 与 RDMA 在 Mac Studio 上运行本地及分布式大语言模型推理
Apple 演示使用 MLX 与 Thunderbolt RDMA 在 Mac Studio 上运行本地及分布式推理，四台 M5 Ultra 以张量并行运行 Muse Spark Open，在 8,192 tokens 上下文下达到 36.73 tokens/s。
推荐理由：通过同一组模型的单机与多机测试，对比流水线并行和张量并行在首 token 延迟、生成速度及通信开销上的差异。
Apple 演示使用 MLX 与 Thunderbolt RDMA 在 Mac Studio 上运行本地及分布式推理，四台 M5 Ultra 以张量并行运行 Muse Spark Open，在 8,192 tokens 上下文下达到 36.73 tokens/s。
推荐理由：通过同一组模型的单机与多机测试，对比流水线并行和张量并行在首 token 延迟、生成速度及通信开销上的差异。