NVIDIA Cosmos 新增世界模型训练、评估与部署工具

为帮助开发者快速构建世界模型，帮助物理 AI系统理解和模拟现实世界，NVIDIA 为Cosmos 平台扩充了新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图。

NVIDIA Cosmos 平台在六个不同的开放模型排行榜上均跻身前五，为世界模型构建者提供前沿开放模型，以及数据、训练和优化工具与方案，以便在部署前扩展训练数据、适配模型、测试行为并优化性能。

构建更优质的训练数据

构建世界模型始于多模态、多感官数据。

NVIDIA Cosmos Data Factory汇集了用于大规模标注、整理、增强和评估数据的工具与技能，以训练物理 AI。Cosmos Curator 是一款用于整理视频训练数据集的 GPU 加速解决方案，目前已新增对多模态、多感官输入和处理模块的支持。

阅读 NVIDIA 在欧洲发布的所有公告

Cosmos Data Factory 现提供以下五种云原生蓝图，可通过GitHub、Microsoft Azure、Nebius和CoreWeave获取：

自动驾驶车辆数据集生成：整理并标注驾驶数据，然后添加难以捕捉的场景的合成样例，以扩大训练覆盖范围。
图像属性增强：改变物体外观，以改进图像搜索。
事件视频生成：将静态图像转化为罕见或不安全事件的合成视频。
缺陷图像生成：为检测模型生成印刷电路板、金属和玻璃的缺陷图像。
视频数据增强：改变现有视频中的天气和光照，同时保留场景结构。

Cosmos Data Factory 利用智能体技能加速数据整理、处理和合成数据生成。

企业已经开始使用 Cosmos Data Factory 蓝图，加速其物理 AI 开发工作流程。

Porsche正牵头在Volkswagen Group 旗下品牌之间构建共享的自动驾驶数据飞轮，通过Voxel51在Microsoft Azure 上使用 Cosmos Data Factory。这预计将使重复的实地试驾最多减少 90%，并使开发周期最多缩短 85%。

Porsche 在 Cosmos Data Factory 的支持下，在 Voxel51 中搜索和增强自动驾驶车辆视频数据。

ANYbotics利用 Cosmos Data Factory 蓝图生成了超过 1,500 段合成视频，并使用Encord 的平台整理真实世界数据并验证输出结果，以训练其工业巡检机器人识别两次设施巡检之间出现的液体泄漏和其他变化。

ANYbotics 使用 Encord 生成异常片段，由 NVIDIA Cosmos Data Factory 提供支持。

Ultralytics 是一家计算机视觉公司，使用真实图像和通过 Cosmos Data Factory 生成的针对性合成缺陷重新训练了其 YOLO 模型，提高了缺陷定位能力和召回率。

训练、适配和优化模型

准备好训练数据后，开发者可以训练自己的架构，也可以从预训练模型入手。

在 GTC Berlin 上，NVIDIA 将 Cosmos Framework 的训练、优化和部署工具及配方以智能体技能的形式扩展至包括 Cosmos 3 在内的更多开放模型，为世界模型构建者提供了一条从实验到部署的更快捷路径。

开发者和智能体现在可以通过微调和强化学习来适配 GR00T、Alpamayo、QWEN、Pi0.5 等开放模型以及其他兼容的 Hugging Face 模型，通过蒸馏和量化优化模型，并以高性能推理进行部署。

Diagram of a model builder agent using skills and open model backbones to prepare data, train, fine-tune, apply reinforcement learning, and optimize world models for inference. — Cosmos Framework 是一个开放的模块化框架，提供模型训练和优化工具及技能，以加速世界模型开发。

为了开发专门用于第一人称视角操控的世界模型，机器人研究实验室 MicroAGI 使用人类操控物体的视频对 Cosmos 3 进行了后训练，并将其 320 亿参数的推理模型蒸馏为 80 亿参数的 Nano 模型，且准确率没有损失。

开发者可以在 Roboflow 上针对其特定环境和任务标注数据并对 Cosmos 3 进行后训练，然后将这些模型部署到 RoboFlow 托管或本地部署的 NVIDIA GPU 上，将视频推理引入工厂和仓库。

测试策略并加速模型运行

除了这些工具，NVIDIA 还通过对 Cosmos 模型的研究持续推进基础技术的发展。

全新的用于仿真的 Cosmos 3 Nano 模型变体使开发者能够在可重复、难以采集的多视角、多传感器场景中测试自主策略。配套代码允许开发者适配这些模型，在交互式仿真中训练和评估其用于自动驾驶汽车和双臂机器人的策略，然后再开展现实世界测试。

Cosmos creates videos using a starting image from each camera, a short description of each view, WSM controls and one LiDAR scan of the surroundings. — 生成多视角、多感官视频数据，用于在闭环仿真中评估策略。

开发者可以使用更新后的 NVIDIA Cosmos 3 NIM 微服务部署核心 Cosmos 模型。在经过验证的配置中，这些微服务可将推理速度提升至最高 2 倍，且不损失质量，同时持续视频分析可实现亚秒级告警。

对于视觉 AI 开发者，基于 Cosmos NIM 微服务构建的全新 NVIDIA Metropolis 视频搜索与摘要（VSS）Blueprint 3.3 可将一条提示转化为高效的视频 AI 应用，并帮助团队使用相同的 GPU 多监控 40% 的视频流。

ADNOC 使用 Fogsphere 的 MistIQ 智能体平台，该平台基于 Cosmos 和 NVIDIA Metropolis VSS Blueprint 构建，用于实时检测 65 个站点的安全隐患。针对罕见事件，Fogsphere 还使用 Cosmos Data Factory 生成合成训练数据，无需在现实中模拟危险情境即可提高检测能力。

Cosmos 平台完全模块化且开放。开发者可以使用 Cosmos Data Factory 生成训练数据集，使用 Cosmos Framework 训练和适配世界模型，然后部署受支持的通过 NIM 微服务提供的 Cosmos 模型。

阅读 NVIDIA 在欧洲发布的所有公告