文章摘要
LL3M利用大型语言模型生成Python代码,在Blender中创建和编辑3D资产。该系统通过用户文本指令,能够从零开始生成复杂形状,并实现精确的几何操作。与以往专注于特定子任务或受限程序的方法不同,LL3M能够创建不受限制的几何、布局和外观资产。通过高级代码作为3D表示,系统支持迭代优化和协同创作,模型自动进行代码和视觉自我评估,用户也可提供反馈。
文章总结
LL3M:大型语言3D建模工具
LL3M是由芝加哥大学开发的一种创新工具,利用大型语言模型团队编写Python代码,在Blender中创建和编辑3D资产。该系统能够根据用户的文本指令,从零开始生成具有表现力的形状,并通过代码实现复杂且精确的几何操作。与以往专注于特定子任务或受限程序化生成的代码生成模型不同,LL3M能够创建不受限制的3D资产,涵盖几何、布局和外观等多个方面。
工作流程概述
LL3M的工作流程分为三个阶段:初始创建、自动优化和用户引导的优化。在初始创建阶段,系统生成一个基本形状;随后,自动优化阶段会修正不合理的配置(如断开的靠背)并改进简单的几何形状;最后,用户可以通过提供额外的编辑指令,进行交互式和迭代式的3D资产生成。
迭代生成与优化
LL3M的核心操作模式是迭代生成与优化。这一过程不仅包括错误修正,还实现了从粗到细的创建流程,结合了自动优化和用户引导的优化。
多样化形状生成
LL3M能够生成多样化的形状,展示出复杂的细节(如风车的建筑特征)和精密的排列(如钢琴键、鼓组),甚至包括丰富的材质属性(如滑板的表面和灯座的镜面效果)。每个网格都是通过可解释、可编辑的Blender代码生成的。
一致的风格化
LL3M能够从不同的初始网格出发,根据相同的风格化提示(如“将风格改为蒸汽朋克”)成功应用相同的风格概念,生成具有几何和外观变化的独特变体。
材质编辑
系统能够对生成的网格进行材质编辑,例如通过着色器节点创建复杂的程序化材质,从而调整特定部分的材质(如刀刃)。
可解释的代码
LL3M生成的Blender代码易于理解和修改,代码中包含描述性注释、清晰的变量名和结构化的逻辑,用户可以轻松调整变量(如键宽)或算法逻辑(如键盘模式)。
透明的参数
通过Blender代码生成形状,LL3M允许用户直观地编辑代码和生成的Blender节点中的参数。例如,生成材质时,系统会创建完整的着色器节点,用户可以直接调整颜色或条纹图案等视觉属性。
代码的通用性与复用
尽管形状在视觉上有所不同,但它们通常共享高级代码模式(如循环、修饰符和节点设置),这使得模型能够从广泛的提示中生成多样化、可编辑和模块化的代码。
场景与层次结构
LL3M能够生成多个对象,并在单个场景中安排适当的空间关系。系统通过实例化和父子关系等复杂操作构建场景层次结构,并为每个部分分配有意义的语义名称。
总结
LL3M通过结合大型语言模型和Blender,提供了一种强大的3D建模工具,能够根据用户指令生成和优化复杂的3D资产,同时保持代码的可解释性和可编辑性。
评论总结
评论1(评分:无,作者:nickparker): 作者分享了使用meshy.ai将图像转换为3D模型的工作流程,认为该工具在快速生成基础模型方面非常有用,尤其适合那些不擅长从头开始建模的用户。他提到,meshy.ai生成的模型结构尚可,但需要进一步在Blender中进行编辑和优化。作者特别强调了该工具在节省时间方面的优势,尤其是在处理复杂模型时。
关键引用:
1. "The meshes are fairly OK structure wise, clearly some sort of marching cubes or perhaps dual contouring approach on top of a NeRF-ish generator."
(“模型结构尚可,显然是基于某种NeRF生成器的行进立方体或双轮廓方法。”)
2. "I’m an extremely fast mechanical CAD user and a mediocre blender artist, so getting an AI starting point is quite handy to block out the overall shape and let me just do edits."
(“我是一个非常快的机械CAD用户,但Blender水平一般,因此AI生成的起点非常有用,可以帮助我快速勾勒整体形状并进行编辑。”)
评论2(评分:无,作者:Etherlord87): 作者对meshy.ai的使用持保留态度,认为该工具仅适用于特定场景,如将照片或渲染图转换为带有纹理的网格,然后通过雕刻进行细化。他建议用户通过学习Blender的基础知识来提升建模技能,而不是依赖AI工具。作者认为,使用AI工具生成的模型往往缺乏个性,且无法帮助用户真正提升3D建模的技术水平。
关键引用:
1. "This tool is maybe useful if you want to learn Python, in particular Blender Python API basics, I don’t really see other usage of this."
(“如果你想学习Python,特别是Blender的Python API基础,这个工具可能有用,但我看不到其他用途。”)
2. "After a few weeks you’re probably going to model them faster than the time it takes for prompt engineering."
(“几周后,你可能会比使用提示工程更快地建模。”)
总结: 评论1认为meshy.ai在快速生成基础模型和节省时间方面具有优势,适合不擅长从头建模的用户;评论2则对AI工具的使用持保留态度,建议用户通过学习Blender提升技能,认为AI生成的模型缺乏个性且无法帮助用户真正提升技术水平。