NVIDIA推出Cosmos 3基础模型，整合物理推理、世界生成和动作生成能力，帮助机器人、自动驾驶等物理AI系统理解并作用于现实世界。该开源项目包含模型、训练脚本及工具，支持开发可复现的物理AI应用，适用于机械操控、自动驾驶及智能仓储等领域。

英伟达发布Cosmos 3物理AI基础模型：统一推理与生成的突破

核心内容： 1. 模型定位 - Cosmos 3是首个将物理推理、世界生成和动作生成统一的开源基础模型 - 面向机器人、自动驾驶和智能空间等需要理解物理世界的AI系统

2. 架构创新

• 采用双塔混合Transformer架构：
  • 推理塔：16B参数的视觉语言模型，处理多模态输入并理解物理交互
  • 生成塔：扩散模型架构，输出符合物理规律的视频和动作序列
• 相比前代分离式设计，简化了开发流程

3. 模型版本

• Cosmos 3 Nano（16B参数）：工作站级实时推理
• Cosmos 3 Super（64B参数）：数据中心级高质量生成

4. 多模态支持

• 支持文本/图像/视频/动作的任意组合输入输出
• 应用场景覆盖机器人学习、自动驾驶仿真等

5. 开源资源

• 发布6大合成数据集：
  • 机器人仿真/物理交互/空间推理
  • 数字人类/驾驶场景/仓储运营
• 完整训练代码及微调方案

6. 部署方案

• 提供NIM微服务优化部署：
  • 支持BF16/FP8/NVFP4量化
  • 集成vLLM推理引擎
  • 视频采样加速技术

技术亮点： - 新型人类评估框架HUE，通过事实验证替代主观评分 - 在VANTAGE-Bench等7大基准测试中保持SOTA - 特别优化机器人策略学习工作流

开发者资源： - 模型下载：Hugging Face平台 - 代码仓库：GitHub开源 - 社区支持：Discord交流群

（注：原文中大量技术参数、示例视频描述及致谢名单等次要信息已精简，保留核心技术创新点和开发者关键信息）

以下是评论内容的总结：

1. 模型性能与实用性

   • 正面观点：认为该开源模型在图像和视频生成方面达到顶尖水平（SOTA），尽管参数过大（64B）难以在普通设备运行，但其基于人工生成训练集的表现仍令人印象深刻。
     • 引用："SOTA open source model for image and vid generation. Beats all others..."（评论1）
     • 引用："Still impressive nonetheless given its artificially generated training sets."（评论1）
   • 负面观点：部分示例质量不佳，质疑其作为真实世界应用训练数据的有效性。
     • 引用："Most of the examples they've chosen seem.. not good? What an odd mix of bad game engine and AI slop."（评论5）
     • 引用："I can't imagine that this stuff makes good training data for real-world applications."（评论5）

2. 技术架构争议

   • 支持观点：欣赏其混合架构（MoT）的设计理念，认为结合推理塔（Reasoner tower）和生成塔（Generator tower）能优化不同模型的优势。
     • 引用："This sort of approach... always appeal to my inner engineer, trying to optimize and balance tradeoffs..."（评论6）
   • 反对观点：引用"苦涩教训"理论，认为这种人为构建知识的方法短期有效但长期会阻碍进步，突破应依赖计算规模化和学习。
     • 引用："this is precisely the wrong approach in the long term... it plateaus and even inhibits further progress"（评论6）
     • 引用："The eventual success... is success over a favored, human-centric approach."（评论6）

3. 硬件需求与幽默反馈

   • 对紧凑版（16B参数）需要高端工作站显卡的调侃，同时指出仓库安全视频示例中人物无反应的滑稽效果。
     • 引用："Looking forward to trying this out on my $10000+ workstation grade GPU..."（评论3）
     • 引用："the people don't react at all."（评论4）

4. 功能理解困惑

   • 有用户对"生成未来观察和动作序列"的描述是否只是视频生成表示疑惑。
     • 引用："Is that just a complicated way of saying video gen?"（评论2）

总结呈现了性能认可与质疑、架构设计争议、硬件门槛和示例缺陷等核心讨论点，保持正反观点的平衡。