谷歌DeepMind推出SIMA 2人工智能代理，基于Gemini模型，能在3D虚拟世界中与用户互动、推理和学习。该AI系统旨在通过自然语言理解和多任务处理能力，为用户提供更智能的虚拟环境交互体验。

SIMA 2：基于Gemini的3D虚拟世界AI智能体

Google DeepMind团队推出了新一代AI智能体SIMA 2（Scalable Instructable Multiworld Agent），该智能体基于强大的Gemini模型，能够在3D虚拟环境中实现更高级的交互、推理和学习能力。相比初代SIMA仅能执行简单指令，SIMA 2不仅能理解复杂任务，还能与用户对话、解释自身行为，并通过自我改进机制提升表现。

核心升级

1. 推理能力

   • 通过集成Gemini模型，SIMA 2可解析高层次目标，规划多步骤行动（如“收集资源并建造营地”），并实时向用户说明行动逻辑。
   • 测试显示，其任务完成成功率显著提升，尤其在未训练过的游戏（如生存游戏《ASKA》和《MineDojo》）中表现接近人类水平。

2. 泛化能力

   • 支持多语言指令甚至表情符号输入（如用🌲提示“砍树”），并能将已学技能迁移到新场景（如将“采矿”概念应用于其他游戏的资源收集）。
   • 结合Genie 3（生成式3D世界模型），SIMA 2能在全新生成的环境中自主探索和执行任务。

3. 自我改进

   • 通过Gemini反馈和试错学习，SIMA 2可在无人类干预的情况下优化策略，形成“训练-自我改进”的闭环。

应用前景与责任

• 研究方向：SIMA 2为通用人工智能（AGI）和未来机器人技术提供了验证平台，但其在长时记忆、精细操作等方面仍有局限。
• 责任开发：目前以限时研究预览形式开放，联合学术和游戏开发者评估风险，确保技术发展符合伦理规范。

相关合作

项目得到多家游戏公司支持，包括《无人深空》《Valheim》等作品的开发商。团队特别纪念已故同事Felix Hill和Fabio Pardo的贡献。

延伸阅读：
- Genie 3：生成交互式3D环境的通用世界模型
- Gemini Robotics：将AI智能体引入物理世界

（注：原文中大量导航栏、重复模块及技术致谢部分已精简，保留核心研究成果与创新点。）

评论总结：

1. 技术进展与潜力

   • 观点：SIMA 2通过试错和Gemini反馈学习复杂任务，并能自我迭代改进，展示了跨虚拟世界训练通用智能体的潜力。
   • 引用：
     • "SIMA 2 agents can perform increasingly complex tasks... bootstrapped by trial-and-error and Gemini-based feedback."
     • "The gap between high-level and low-level control of robots is closing... turning robot operation into a video game-like input." (golol)

2. 质疑演示真实性

   • 观点：视频中智能体的文本输出存在语法问题，怀疑标注是人为后期添加，可能夸大宣传。
   • 引用：
     • "At 0:52... grammatical inconsistency... suspected to be created by humans." (ukuina)
     • "Isn’t most of this demo no man’s sky?" (JohnMakin)

3. 实际效果与局限性

   • 观点：尽管性能较前代提升，但任务成功率仍低（15%），离实际应用尚有距离。
   • 引用：
     • "Held-out task performance... paltry 15% success rate." (woeirua)
     • "Virtual worlds are limited... nothing like how a multi-limbed robot moves." (eminence32)

4. 开源与透明度呼吁

   • 观点：批评Google默认封闭研究，希望其像过去一样更开放，促进公众参与。
   • 引用：
     • "I wish Google would... build in the open more like they used to." (oersted)
     • "They’ve acquired this bad habit of keeping experiments closed." (oersted)

5. 应用场景拓展

   • 观点：期待技术应用于游戏（如自动化重复任务）或现实世界机器人，但需解决虚拟与现实的差异。
   • 引用：
     • "Would be cool to see it play starcraft against alphastar." (theLiminator)
     • "I hope we can get a local version as a 'gaming minion'." (gs17)

6. 研究方向的思考

   • 观点：探讨虚拟训练能否迁移到现实，以及是否需要更逼真的虚拟环境。
   • 引用：
     • "Can anything be transferred to an agent in the real world?" (eminence32)
     • "Does there need to be more sophisticated virtual worlds?" (eminence32)

总结：评论对SIMA 2的技术潜力持谨慎乐观态度，认可其进步但指出局限性（如低成功率、演示真实性），同时呼吁更多开源和实际应用探索。