NVIDIA 在 GTC Berlin 更新本地 AI 产品线，扩展 DGX 集群与智能体支持
NVIDIA 在 GTC Berlin 展示 RTX Spark、DGX Spark 和 DGX Station 本地 AI 产品线，并公布集群、模型运行及企业管理更新。
推荐理由：八台集群支持、模型启动器与共享推理入口将本地硬件连接到团队工作流，为比较个人设备与团队部署提供了具体依据。
技术方向
端侧 AI 最新动态
直接跑在手机、电脑等设备上的 AI：小模型、在本机运行模型的工具与端侧芯片。
3 条精选近 30 天 3 条共收录 14 条
更新
端侧 AI的精选
NVIDIA Blog精选AI 评分6666
Apple Machine Learning精选AI 评分6161 如何用 MLX 与 RDMA 在 Mac Studio 上运行本地及分布式大语言模型推理
Apple 演示使用 MLX 与 Thunderbolt RDMA 在 Mac Studio 上运行本地及分布式推理，四台 M5 Ultra 以张量并行运行 Muse Spark Open，在 8,192 tokens 上下文下达到 36.73 tokens/s。
推荐理由：通过同一组模型的单机与多机测试，对比流水线并行和张量并行在首 token 延迟、生成速度及通信开销上的差异。
Google DeepMind精选AI 评分7373 Google DeepMind 发布 EmbeddingGemma 2，支持端侧多模态嵌入
Google DeepMind 发布 EmbeddingGemma 2，将文本、代码、图像、视频和音频映射到统一嵌入空间，支持端侧离线检索与 RAG。模型基于 Gemma 4 架构，拥有 740 million 参数，采用 Apache 2.0 许可，支持 8K token 上下文，并可按需加载视觉和音频编码器、将输出向量从 768 维截断至 128 维。
推荐理由：模块化编码器与可截断向量提供了端侧多模态检索的资源取舍依据，开发者可按输入类型和存储预算选择部署配置。