文章摘要
本文探讨了如何通过增强3D高斯泼溅技术，将照片转化为信息丰富的3D线描图。作者利用Nvidia RTX 4080S显卡，对场景进行21,000次迭代训练，生成了以轮廓风格为主的3D线描图。这些场景来自Tanks & Temples Benchmark，并通过Mark Kellogg的基于Web的渲染器进行交互式展示。
文章总结
创建3D线描图
本文探讨了如何通过增强3D高斯泼溅（3D Gaussian Splatting）技术，将照片转化为具有几何和语义信息的线描图，进而生成3D线描场景。3D高斯泼溅是一种将多视角图像转化为辐射场的技术，能够生成逼真的3D场景。通过将原始图像替换为线描图，可以在3D场景中呈现出类似手绘的效果。
从图像生成线描图
线描图的生成基于Chan等人提出的方法，他们使用生成对抗网络（GAN）将照片转化为保留几何和语义信息的线描图。该网络通过最小化几何、语义和外观损失来实现这一目标。图1展示了从照片生成的不同风格的线描图。
3D高斯泼溅技术
3D高斯泼溅技术通过多视角图像生成辐射场，能够实时渲染逼真的3D场景。如果将用于训练的原始图像替换为线描图，生成的场景将呈现出3D线描效果。这种效果类似于从特定视角绘制的2D素描，线条会随着视角的变化而变化。
替换源图像
生成3D线描图只需对传统的3D高斯泼溅流程进行微调，即在训练前或使用结构运动（SfM）估计相机姿态前，将原始图像替换为线描图。图2展示了这两种替换方式的效果。如果在训练前替换图像，生成的场景会保留少量原始图像的颜色；如果在SfM前替换图像，则可以去除这些颜色伪影。
添加颜色信息
为了在线描图中重新引入颜色信息，作者生成了一种混合图像，将原始图像的低频颜色信息与线描图结合，产生水彩效果。图4展示了这种混合图像的效果。
其他实验
作者还尝试了将场景中的主体部分替换为线描图，而背景保持不变，生成了一种“拼贴”效果。此外，通过在不同视角下分别渲染逼真图像和线描图，可以在同一场景中实现风格的渐变过渡。图5展示了这种渐变效果。
分辨率对线描图的影响
线描图的分辨率会影响训练时间和细节捕捉。高分辨率图像能够捕捉更多细节，但训练时间更长。图7展示了不同分辨率下的线描图效果。
训练时间和文件大小
线描图场景的训练时间和文件大小通常比原始场景大，因为高斯泼溅技术更适合建模大面积纹理，而线描图需要更多的高斯分布来渲染细长的线条。
本文的代码整合了多个库的脚本，作者欢迎有兴趣的读者联系他进行合作或讨论。
评论总结
评论内容总结：
高度赞扬与认可
- 多位评论者对作品表示高度赞赏，认为其独特且出色。
- 关键引用：
- "Amazing, great work!"（“太棒了，做得好！”）
- "This looks so cool, and unlike anything I've ever seen before."（“这看起来太酷了，和我以前见过的任何东西都不一样。”）
怀旧与联想
- 有评论者将作品与过去的非写实渲染技术（如00年代的Quake NPR）联系起来，认为其具有怀旧感。
- 关键引用：
- "Reminds me of some non photorealistic renderings from the 00’s."（“让我想起了00年代的一些非写实渲染。”）
技术质疑与建议
- 有评论者对作品的复杂性提出疑问，认为可能通过更简单的方法（如单目深度估计）实现类似效果。
- 关键引用：
- "Could this not be achieved easier via monocular depth estimation, for example?"（“比如，是否可以通过单目深度估计更简单地实现这一点？”）
启发与共鸣
- 有评论者表示作品带来了“顿悟”时刻，引发强烈共鸣。
- 关键引用：
- "This was… an A-ha moment (if you know what I mean)."（“这真是……一个顿悟时刻（如果你明白我的意思）。”）
总结：评论整体以正面评价为主，强调作品的独特性和美感，同时也有对技术实现的讨论和怀旧联想。