初步探讨2024年科研热点-3D高斯溅射技术-今日头条

　　2024年，在计算机视觉（CV）计算机图形学（CG）领域，3D高斯溅射技术大热，其原始论文名称叫“3D Gaussian Splatting for Real-Time Radiance Field Rendering”，这篇论文发在ACM Transactions on Graphics上，并收录在SIGGRAPH 2023，非常值得读一读。

　　如上图所示，与IntantNGP相当的训练时间，本文达到了与他们更高的质量；但通过训练51 min，本文达到了最先进的质量，甚至比Mip-NeRF360好一些，但时间却大大缩短。

　　现有方法缺点：最有效的辐射场解决方案建立在连续表示的基础上，通过神经网络（如MLP）、插值、体素、哈希网格或点。但这些方法阻碍了渲染速度，且图像质量在很大程度上受到结构化选择的限制。

　　本文优势：用非结构化、显式gpu的三维高斯算法在没有神经组件的情况下实现更快的渲染速度和更好的质量。且允许在1080p分辨率下的高质量实时（≥30 fps）新视图合成。关键是使用可微的分块光栅化器并行处理，效率高。

　　一、本文核心

　　A）读取输入图片，执行Colmap估算相机位姿和估计初始点云的位置（执行3万步是最好的点云状态），根据稀疏点云初始化生成3D高斯。

　　B）借助相机外参+高斯椭球，将其投影到2D图像平面，投影可用对应的图像模型形成。

　　C）使用分块可微光栅化器将投影后的2D像素转换为屏幕上的像素，根据像素的位置和颜色信息，将像素填充到屏幕上的相应位置。根据光栅化后的像素，进行后续的图像处理和渲染操作（深度测试、颜色插值等），以生成最终的2D投影图像。

　　D）得到的2D图像与gronud truth做loss，反向传播（优化）

　　向上：优化高斯属性优化，包括优化3D高斯的位置、不透明度、各向异性协方差和球形谐波系数，并结合适应性密度控制进行。

　　向下：适应性控制高斯密度，在优化过程中适应性地控制高斯的密度，包括根据需要增加或减少高斯椭球数量。

　　判断重建是否充分的依据是梯度，在更新点的位置的时候，如果梯度太大说明这个位置误差较大。梯度超过阈值就会执行densify的操作。

　　区分图中两种情况：根据方差，方差大说明3D高斯很大，需要split；否则就是clone。

　　clone过程中创建一个相同大小的副本，并将其移动到位置梯度的方向上。

　　Split：在高方差区域中的大高斯分布需拆分为较小的高斯分布。用两个新的高斯分布替换，并将它们的尺度除以实验确定的16。还通过用采样的原始3D高斯分布作为PDF来初始化它们的位置。

　　二、损失函数

　　L1：是渲染图像和GT图像求光度误差

　　LD-SSIM：结构相似性误差。

　　三、实验

　　定量评价方法相比：在三个数据集中本文的方法计算超过三个数据集。除特定标记数据直接使用外，其余数据均由本文实验获得。

　　上图实验是本文与Mip=NeRF360、InstantNGP、Plenoxels对比质量，可以发现本文效果最佳。

　　参考资料：

　　工程地址：

　　https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/

　　论文地址：https://dl.acm.org/doi/10.1145/3592433

　　代码地址：https://github.com/graphdeco-inria/gaussian-splatting

　　智视图

　　智视图专注于研究并分享人工智能、计算机视觉和计算机图形学的前沿论文

　　商务合作：bd@aicvcg.com

　　招聘：hr@aicvcg.com

　　欢迎点赞！