文章摘要
文章介绍了Marble这一多模态世界模型的最新进展。该模型能通过文本、图像、视频或3D布局生成3D世界,并支持交互式编辑和多种格式导出。作者宣布Marble正式开放使用,并推出Marble Labs创意中心,展示了其在空间智能领域的突破性应用前景。
文章总结
标题:Marble:多模态世界模型
空间智能是人工智能的下一个前沿领域,需要强大的世界模型来实现其全部潜力。世界模型应能重建、生成和模拟3D世界,并允许人类和智能体与之互动。未来几年,具备空间智能的世界模型将彻底改变众多行业。
两个月前,我们分享了Marble预览版,这款世界模型可通过图像或文本提示创建3D世界。如今,我们正式推出这款首创的多模态生成世界模型,并向所有人开放使用。同时,Marble的功能也得到大幅扩展:
多模态Marble:现支持通过文本、图像、视频或粗略3D布局创建3D世界,并支持交互式编辑、扩展和组合世界。生成的3D世界可导出为高斯泼溅、网格或视频,让用户获得前所未有的精细控制。
Marble实验室:我们推出创意中心Marble Labs,汇聚艺术家、工程师和设计师共同探索世界模型的边界,展示游戏、特效、设计、机器人等领域的创新应用。该平台还提供深度案例研究、教程和文档资源。
立即访问marble.worldlabs.ai开启创作!
世界模型的核心特性
人类认知世界本质上是多模态的——我们整合视觉、听觉、触觉和语言来构建心智模型。Marble作为新一代世界模型,正朝着这个方向迈进:
文本/图像生成世界:通过单张图片或简短文字即可生成多样场景类型和艺术风格的3D世界。用户可先用其他AI工具生成图像,再导入Marble转为3D世界。
多图像/视频生成:通过多角度输入图像或短视频,可精确控制生成世界的各个视角,还能还原真实场景的3D模型。
世界编辑:提供AI原生编辑工具,支持从局部微调(移除物体)到全局改造(更换风格、重构空间),实现无限创意可能。
3D雕刻工具Chisel:高级用户可通过基本几何体或导入3D资产构建场景框架,再通过文字提示定义视觉风格,实现结构与风格的分离控制。
世界扩展与组合:支持单场景区域扩展以提升细节质量,还能将多个世界自由组合成超大空间。
多样化导出:支持导出高斯泼溅(最高保真度)、碰撞网格(物理模拟)和高质量渲染网格,还能生成带动态效果的增强视频。
未来展望
当前Marble已实现世界创建、编辑和导出的全流程控制,但我们的终极目标是实现空间智能交互——让人类和智能体都能以全新方式与生成世界互动,开启仿真模拟、机器人等领域的更多可能性。
立即加入我们,共同塑造未来:招聘链接
(注:原文中重复的图片说明文字和部分技术细节已精简,保留核心功能描述与创新价值)
评论总结
评论总结:
- 重复内容提醒(评论1):
- 指出该内容为重复发布:"Duplicate: [链接]"
- 高度赞赏作品(评论2/3/7):
- 表达惊叹:"Impressive!"(评论2)
- 称赞作品并建议查看交互示例:"I'm floored. Incredible work...check out their interactive examples"(评论3)
- 认为具有发展前景:"exciting towards world intelligence"(评论7)
- 行业趋势关联(评论4/5):
- 联系到Yann LeCun的愿景:"Yann LeCun's vision also seems to align with world models"(评论4)
- 提及DeepMind同类研究:"DeepMind is working on this too...how their approaches compare?"(评论5)
- 技术概念探讨(评论6):
- 询问与游戏引擎区别:"how does this differ from sophisticated game engines?"(评论6)
- 探讨技术本质差异:"learned dynamics vs deterministic simulation"(评论6)
(注:所有评论均未显示具体评分)