World Labs推出新一代世界模型Atlas,这是一个原生处理文本、图像、视频和3D的全能模型,能生成、重建和模拟各种世界,支持相机控制生成、空间重建等任务,性能随训练计算量提升而增强。
正文
World Labs 发布了新一代世界模型 Atlas,旨在实现空间智能。Atlas 是一个全能模型,原生处理文本、图像、视频和 3D 数据,采用多模态自回归扩散变换器架构,将所有输入整合到共享的空间上下文中,并基于此生成后续内容,保持 3D 一致性。其性能随训练计算量增加而提升。
Atlas 可执行多种任务: - 相机控制生成:根据一张或多张参考图像,在指定相机位置和角度生成新视图,支持像素级精确控制,可输出长达 1 分钟、1440p 分辨率的视频。 - 空间重建:从少量输入图像(1 到 100 多张)重建真实场景,生成新视角图像和显式 3D 输出(如点云或 3D 高斯泼溅),性能优于专门的重建模型。 - 时空模拟:处理输入视频的时空信息,实现视频重构图(如“子弹时间”效果)和机器人仿真(从真实视频重建环境并模拟传感器数据)。 - 图像生成:根据文本提示生成图像和 360 度全景图,支持复杂提示、文字渲染和多种视觉风格。
Atlas 将驱动 World Labs 的 Marble 等产品。目前,Atlas 已进入早期访问阶段,面向特定合作伙伴开放。
评论
根据评论内容,总结主要观点如下:
1. 稀疏图像重建能力突出(高认可度) - 评论1:认为这是目前从稀疏图像重建3D空间的最佳模型,用手机拍摄十几张照片即可重建整个房屋("This seems like by far the best model yet for reconstructing 3D spaces from sparse images") - 评论5:指出相机在模型理解的3D空间中移动,更接近真实机器人应用("A camera moving through a 3D space the world model understands is getting much closer to real robotics applications")
2. 时间一致性与连续性存疑(中等认可度) - 评论1:质疑时间冻结与相机移动的矛盾,认为时间一致性可能不佳("time is always frozen while the camera is moving... Maybe the temporal consistency isn't very good?") - 评论6:担心转身后物体是否保持连续性,还是像梦境般变化("when you turn around, is the invented chair still there, or does everything shift like in a dream?")
3. 对机器人领域有重要潜力(高认可度) - 评论3:强调模型能同时生成RGB和深度数据,对加速机器人数据飞轮意义重大("Potentially very significant for accelerating the data flywheel challenge for robotics") - 评论5:再次确认接近真实机器人应用场景
4. 对"世界模型"定义存在困惑(中等认可度) - 评论2:批评"世界模型"一词被滥用,失去明确含义("What exactly does world model mean? I've seen it used so many times... its lost its meaning")
5. 潜在应用与局限(中等认可度) - 评论9:提出可用于游戏地图快速迭代和独立开发中的3D物体提取("rapid iteration of video-game map blocking... reduce friction in the early stages of indy development") - 评论8:质疑能否处理大面积区域中的"战争迷雾"("Can a reconstruct distinct areas of a larger area with a 'fog of war' in between?") - 评论4:指出模型目前仅能重建虚幻引擎场景("Can reconstruct [scenes from Unreal Engine]")