文章摘要
这是一个名为"trellis-mac"的GitHub项目页面,主要展示了GitHub平台的各种功能,包括AI代码生成、开发者工作流和应用安全等工具,如Copilot、Codespaces和高级安全功能。
文章总结
GitHub项目:shivampkumar/trellis-mac
项目地址:https://github.com/shivampkumar/trellis-mac
项目概述
这是一个将微软的TRELLIS.2(先进的图像转3D模型)从依赖CUDA的版本移植到Apple Silicon(M1及以上芯片)的开源项目,通过PyTorch的MPS后端实现,无需NVIDIA GPU即可运行。
核心功能
- 输入:单张图片
- 输出:包含40万+顶点的网格模型(OBJ/GLB格式),支持PBR材质
- 性能:在M4 Pro芯片上约3.5分钟完成生成
- 示例效果:
→
技术亮点
替代CUDA依赖:
- 用纯PyTorch实现稀疏3D卷积(
backends/conv_none.py) - 用Python字典重构网格提取逻辑(
backends/mesh_extract.py) - 移除对
flash_attn、nvdiffrast等CUDA库的依赖
- 用纯PyTorch实现稀疏3D卷积(
优化适配:
- 所有
.cuda()调用改为动态设备选择 - 保留核心算法,仅替换硬件相关部分
- 所有
使用要求
- 硬件:Apple Silicon芯片(M1+)
- 内存:推荐24GB+统一内存
- 存储:约15GB空间用于模型权重
快速开始
bash
git clone https://github.com/shivampkumar/trellis-mac.git
cd trellis-mac
hf auth login # 登录HuggingFace获取模型权限
bash setup.sh # 自动配置环境
python generate.py 图片路径.png
局限性
- 纹理导出:暂不支持(需CUDA的
nvdiffrast) - 性能:稀疏卷积比原版慢约10倍
- 仅限推理:不支持模型训练
许可协议
- 移植代码:MIT License
- 上游模型:需遵守TRELLIS.2(MIT)、DINOv3(Meta自定义许可)、RMBG-2.0(CC BY-NC 4.0)
致谢
- 原始模型:Microsoft Research的TRELLIS.2
- 图像处理:Meta的DINOv3、BRIA AI的RMBG-2.0
项目由shivampkumar维护,截至当前获129星标。
评论总结
评论内容总结:
- 关于MPS后端兼容性(评论1)
- 主要观点:用户选择省略MPS后端是因为Hugging Face不提供该后端,优先考虑速度而非兼容性。
- 关键引用:
- "People would rather have the thing work at best speeds than 10x worse speeds just for compatibility."
- "HF doesn’t offer an MPS backend."
- 模型质量评价(评论2)
- 主要观点:虽然该模型表现一般,但作者希望开源领域能有更好的图像转3D模型。
- 关键引用:
- "the one from meshy.ai is the best, trellis is in the useless tier"
- "really hope there could be some good open source models in this domain."
- 产品展示不足(评论3)
- 主要观点:产品页面缺乏示例展示。
- 关键引用:
- "So much effort, but no examples in the landing page."
- 硬件需求疑问(评论4)
- 主要观点:用户关心模型的内存需求,考虑升级硬件配置。
- 关键引用:
- "How much RAM does this use?"
- "I'm trying to figure out if I should buy 24 GB...or spring for 32."
注:所有评论均未显示评分(None),因此无法评估认可度。