跳到正文
10月22日周四
10月21日周三
10月20日周二
10月15日周四
  1. Apple Machine Learning61

    如何用 MLX 与 RDMA 在 Mac Studio 上运行本地及分布式大语言模型推理

    Apple 演示使用 MLX 与 Thunderbolt RDMA 在 Mac Studio 上运行本地及分布式推理,四台 M5 Ultra 以张量并行运行 Muse Spark Open,在 8,192 tokens 上下文下达到 36.73 tokens/s。

    推荐理由:通过同一组模型的单机与多机测试,对比流水线并行和张量并行在首 token 延迟、生成速度及通信开销上的差异。

10月14日周三
  1. Google DeepMind47

    Google DeepMind 与新加坡政府合作,微调 AI 模型用于诈骗检测

    Google DeepMind 与新加坡政府科技局合作,基于 Gemma 微调出保护隐私的端侧诈骗检测模型。模型先以轻量分类器筛查消息,再分析对话上下文,识别操纵性话术并实时警告。模型将分阶段集成至应用,仅经用户同意访问设备端对话,Google 和新加坡政府均无法通过该部署获取对话内容。

10月7日周三
  1. Google DeepMind73

    Google DeepMind 发布 EmbeddingGemma 2,支持端侧多模态嵌入

    Google DeepMind 发布 EmbeddingGemma 2,将文本、代码、图像、视频和音频映射到统一嵌入空间,支持端侧离线检索与 RAG。模型基于 Gemma 4 架构,拥有 740 million 参数,采用 Apache 2.0 许可,支持 8K token 上下文,并可按需加载视觉和音频编码器、将输出向量从 768 维截断至 128 维。

    推荐理由:模块化编码器与可截断向量提供了端侧多模态检索的资源取舍依据,开发者可按输入类型和存储预算选择部署配置。