如何用 MLX 与 RDMA 在 Mac Studio 上运行本地及分布式大语言模型推理
Apple 演示使用 MLX 与 Thunderbolt RDMA 在 Mac Studio 上运行本地及分布式推理,四台 M5 Ultra 以张量并行运行 Muse Spark Open,在 8,192 tokens 上下文下达到 36.73 tokens/s。
推荐理由:通过同一组模型的单机与多机测试,对比流水线并行和张量并行在首 token 延迟、生成速度及通信开销上的差异。
Apple 演示使用 MLX 与 Thunderbolt RDMA 在 Mac Studio 上运行本地及分布式推理,四台 M5 Ultra 以张量并行运行 Muse Spark Open,在 8,192 tokens 上下文下达到 36.73 tokens/s。
推荐理由:通过同一组模型的单机与多机测试,对比流水线并行和张量并行在首 token 延迟、生成速度及通信开销上的差异。
Import AI 第476期聚焦 AI 的科研创造力与递归自我改进、视觉推理短板,以及太空工业化可能带来的先发优势。Humanity’s Sixth Sense 基准中,GPT 6 Astra 的 pass@1 为53.6,人类为93.1。TasteVal 则以8项前沿 AI 研发任务,评估模型选择研究问题、设计实验和解读结果的能力。
System76 更新 COSMIC 桌面的贡献指南,禁止提交 AI 生成的代码、注释和描述,并要求贡献者声明未包含此类内容。GNOME Calendar 和 GNOME Extensions 也限制 AI 生成的贡献,其中 Extensions 允许将 AI 用于学习辅助和代码补全。
Google DeepMind 发布 EmbeddingGemma 2,将文本、代码、图像、视频和音频映射到统一嵌入空间,支持端侧离线检索与 RAG。模型基于 Gemma 4 架构,拥有 740 million 参数,采用 Apache 2.0 许可,支持 8K token 上下文,并可按需加载视觉和音频编码器、将输出向量从 768 维截断至 128 维。
推荐理由:模块化编码器与可截断向量提供了端侧多模态检索的资源取舍依据,开发者可按输入类型和存储预算选择部署配置。
Nathan Lambert 认为,仅因网络风险禁止开放权重模型、却允许前沿闭源模型 API 继续发展,可能削弱美国 AI 竞争力并扩大网络攻防差距。他指出,闭源模型的防护并不完善,而部分敏感机构近期只能在隔离网络中部署开放权重模型,因此限制开放权重也会影响防御能力的扩散。

RAND 发布美国超级智能战略报告,建议在发展路径不确定的情况下,通过“行动自由”战略保留政策选择。报告主张投资人类与 AI 生态、安全架构、国家安全机构转型及社会应变能力,并梳理共存、遏制和加速三类战略。另有研究在脑组织被刻意削减的幼鼠体内培育出类似人脑的组织。

Mistral 与 Mozilla 宣布合作,由 Mistral 模型驱动 Firefox Smart Window(beta)AI 浏览助手。服务面向法国和北美用户,英国和德国预计今年晚些时候跟进。对话默认不保存在 Mozilla 服务器上,Mistral 等合作方承诺零数据留存。
DeepSeek 发布开放权重模型 V4.1 Flash,采用因果编码器—解码器架构,支持 1M-token 上下文及文本、图像输入。Artificial Analysis 报告其 Intelligence Index 得分为 40,高于 V4 Pro;虽然平均每项任务生成 89k tokens,估算单任务成本仍仅为 $0.27。
推荐理由:独立评测将模型得分、输出长度与单任务成本放在一起比较,展示了低 token 定价如何抵消冗长输出带来的部分开销。