论文Review 3DGS | Deformable Beta Splatting | 用 Beta Kernel 替代 Gaussian Kernel 的实时辐射场渲染方法

基本信息题目Deformable Beta Splatting作者Rong Liu, Dylan Sun, Meida Chen, Yue Wang, Andrew Feng单位University of Southern California / Institute for Creative Technologies时间2025 年 5 月arXiv:2501.18630v2方向Novel View Synthesis、Radiance Fields、3D Gaussian Splatting、Real-time Rendering是否开源https://github.com/RongLiu-Leo/beta-splatting。摘要这篇论文提出Deformable Beta SplattingDBS目标是改进 3D Gaussian Splatting 在几何细节、锐利边界、镜面高光和参数效率方面的不足。传统 3DGS 使用 Gaussian Kernel 表示几何用低阶 Spherical HarmonicsSH表示视角相关颜色但 Gaussian 的平滑、长尾和无界特性容易导致边缘模糊、细节损失而低阶 SH 又难以刻画尖锐高光。DBS 的核心做法是用可变形的Beta Kernel替代 Gaussian Kernel 表示几何用Spherical Beta替代 SH 表示视角相关颜色并提出一种Kernel-Agnostic MCMC稠密化策略使优化过程不再依赖 Gaussian 的特殊性质。实验显示DBS 在多个数据集上取得更好的 PSNR、SSIM、LPIPS同时参数量约为 3DGS-MCMC 的 45%渲染速度约为 3DGS-MCMC 的 1.5 倍。Introduction研究背景NeRF 通过隐式神经网络和体渲染实现了高质量新视角合成但其主要问题是计算量大、推理慢、难以实时应用。3D Gaussian Splatting 则用显式的 3D Gaussian primitives 表示场景通过 point-based splatting 实现实时渲染在效率上显著优于传统 NeRF 方法。但是3DGS 的核心组件存在两个瓶颈第一Gaussian Kernel 太平滑。Gaussian 是连续、长尾、无界的核函数天然倾向于产生平滑结果。在表示平面、锐利边缘、薄结构或高频纹理时容易出现模糊、边界扩散和细节缺失。第二低阶 SH 表达高光能力有限。3DGS 通常使用低阶 Spherical Harmonics 表示 view-dependent color。SH 的参数量随阶数平方增长因此实际系统一般只能使用低阶 SH导致颜色变化过于平滑难以建模尖锐镜面反射也很难自然分离 diffuse 和 specular 分量。研究问题与目标这篇论文的目标可以概括为在保持 3DGS 实时渲染优势的前提下提升几何表达能力、视角相关外观表达能力和模型参数效率。具体来说作者希望解决三个问题如何设计一种比 Gaussian 更灵活的 splatting kernel使其既能表示平滑区域也能表示平面、锐边和高频细节如何设计比低阶 SH 更高效的 view-dependent color 表达使其能刻画尖锐高光并支持 diffuse/specular 分解如何让 MCMC densification 不再绑定 Gaussian Kernel使其可以适配任意 splatting kernelRelated WorksNeRF 系列方法NeRF 使用 MLP 表示连续体密度和颜色通过体渲染进行新视角合成。其优势是渲染质量高能够表达复杂场景不足是需要密集 ray marching 和大量网络推理因此实时性较差。后续如 Instant-NGP、Mip-NeRF 360、Zip-NeRF 等方法通过哈希编码、多尺度抗混叠和网格结构提升速度和质量但整体仍偏隐式表示难以直接融入实时图形管线。分析NeRF 的强项是高质量弱项是实时性和工程集成。3DGS 的出现本质上是将辐射场从“神经网络隐式表示”转向“显式 primitive 表示”从而大幅降低渲染成本。3D Gaussian Splatting 系列方法3DGS 使用一组各向异性 3D Gaussian primitives 表示场景每个 primitive 包含位置、旋转、尺度、不透明度和颜色特征。它不需要体渲染式的 dense ray marching而是通过 rasterization/splatting 完成快速渲染。后续工作主要从几个方向改进 3DGS一是抗混叠如 Mip-Splatting、多尺度 Gaussian Splatting 等二是去模糊如 DeblurGS、BAD-Gaussians 等三是 appearance modeling如 Texture-GS、BBSplat、Spec-Gaussian 等四是 kernel 设计如 Generalized Exponential Splatting、Linear Kernel Splatting、3D Convex Splatting、Deformable Radial Kernel Splatting 等五是 densification 优化如 3DGS-MCMC、Pixel-GS、Scaffold-GS 等。分析这篇论文不是单点改进而是同时改了 3DGS 的三个关键部件几何核函数、颜色编码方式和稠密化优化策略。因此它的定位不是简单的 “Gaussian Splatting 加一个 trick”而是试图重构 3DGS 的底层表示范式。Method论文的方法由三个核心模块组成Deformable Beta Kernel用于几何表达Spherical Beta用于视角相关颜色表达Kernel-Agnostic MCMC用于优化和 densification1. Deformable Beta Kernel基本思想传统 3DGS 使用 Gaussian Kernel而 DBS 使用从 Beta 分布启发而来的 Beta Kernel。论文中将 Beta Kernel 写为之后又将 () 重新参数化为最终得到这里的关键参数是 (b)。当 (b0) 时Beta Kernel 的形状接近 Gaussian当 (b0) 时kernel 更平、更接近实心支撑区域适合表达平面和锐利边界当 (b0) 时kernel 更尖锐适合表达高频细节。论文第 4 页图 2 直观展示了不同 (b) 值下 kernel 的形状变化。分析这个设计的核心优势是一个 primitive 不再只能是固定形状的 Gaussian而是可以学习自己的形状频率。Gaussian Kernel 的问题在于形状固定只能通过 scale、rotation、opacity 等参数间接适配场景。而 Beta Kernel 多了一个形状控制参数 (b)使每个 primitive 可以在训练中自动变成“平坦型”“Gaussian-like 型”或“尖峰型”。这使 DBS 在几何表示上拥有更大的自由度。技术亮点论文不是随便换了一个核函数。作者还用 inverse Abel transform 说明满足一定条件的 2D radial kernel 可以对应一个 multi-view consistent 的 3D kernel。因此 Beta Kernel 不只是经验上可用而是在 splatting 几何一致性上有一定数学支撑。2. 3D Ellipsoidal Beta PrimitiveDBS 中每个 3D Beta primitive 的参数包括其中()primitive 的 3D 中心(o)opacity(q)旋转四元数(s)尺度(b)Beta Kernel 的形状控制参数(f)颜色特征。可以看到DBS 继承了 3DGS 的基本 primitive 结构但额外加入了 (b) 参数。这意味着它并不是完全推翻 3DGS而是在 3DGS 框架内增强 kernel 表达能力。分析这个设计的工程价值很高因为它保持了与 3DGS pipeline 的兼容性。位置、旋转、尺度、opacity 等参数仍然沿用 3DGS 的设定渲染过程仍然是投影、排序、alpha compositing。新增的 (b) 参数只是在 kernel 计算处引入形状可变性因此不会彻底破坏原有系统结构。3. Spherical Beta为什么不用 SH3DGS 使用 SH 表示 view-dependent color。对于 (N) 阶 SH特征维度大约随 (3(N1)^2) 增长。阶数越高参数越多阶数太低又无法表示尖锐高光。因此实际 3DGS 通常使用低阶 SH导致高光过于平滑。Spherical Beta 的思想论文借鉴 Phong Reflection Model将颜色拆为 base color 和若干 specular lobes其中()diffuse/base color()视角方向()第 (m) 个反射方向()高光锐度()高光颜色。论文第 5 页图 3 展示了不同 () 值下的 Spherical Beta 高光形状。较小的 (b) 对应更宽的反射区域较大的 (b) 对应更尖锐的 specular highlight。分析Spherical Beta 的意义在于它把 view-dependent color 从“频域基函数拟合”转成了“反射 lobe 建模”。SH 更像是用一组球面基函数去拟合颜色变化而 Spherical Beta 更接近图形学中的反射模型基础颜色负责 diffuse若干 lobe 负责 specular。这种设计在表达高光时更直接也更可解释。论文指出相比 3 阶 SHSpherical Beta 只需要约 31% 的参数却能更好地表达 diffuse/specular 分解和尖锐高光。4. Kernel-Agnostic MCMC问题背景3DGS 中的 densification 通常依赖 Gaussian 的性质比如 clone、split、prune 等操作。3DGS-MCMC 将 Gaussian primitive 的 opacity 看作概率通过 Markov Chain Monte Carlo 方式重采样和重新放置 primitives使模型优化更加稳定。但是这些方法大多是为 Gaussian Kernel 设计的。如果换成 Beta Kernel原有的 scale adjustment、Gaussian-specific heuristic 就不一定成立。论文的解决方案DBS 提出Kernel-Agnostic MCMC。核心结论是只要对 opacity 做正则化使每个 primitive 的 opacity 保持较小那么 densification 时只调整 opacity 就可以近似保持原始分布而且这个结论与具体 kernel 类型无关。论文的推导大意如下原 primitive 的贡献为复制 (N) 次后每个副本 opacity 为 (o)总贡献为当 (o) 较小时有因此也就是说当 opacity 被正则化到较小范围时复制后的分布与原分布在一阶近似下保持一致。这个结论不依赖 (f(x)) 的具体形式所以适用于 Gaussian、Beta 或其他 splatting kernel。分析这是论文中比较有理论价值的部分。很多 3DGS 改进方法在 densification 上依赖经验启发式规则而 DBS 试图将 densification 从 Gaussian-specific 操作中解耦出来变成一种 kernel-agnostic 的概率保持策略。这对后续研究很有启发如果未来继续探索其他 kernel比如 linear kernel、convex primitive、radial deformable kernel也可以参考这种“opacity regularization kernel-agnostic densification”的思路。Experiments数据集与指标论文在多个常用新视角合成数据集上进行实验包括Mip-NeRF 360Tanks and TemplesDeep BlendingNeRF Synthetic评价指标包括PSNR越高越好SSIM越高越好LPIPS越低越好。与现有方法对比在 Table 1 中DBS 在多个数据集上超过了 3DGS、3DGS-MCMC、Mip-Splatting、Zip-NeRF 等方法。以 Mip-NeRF 360 为例DBS full 达到 PSNR 28.75、SSIM 0.845、LPIPS 0.179而 3DGS-MCMC 为 PSNR 28.29、SSIM 0.840、LPIPS 0.210。在 NeRF Synthetic 上DBS full 达到 PSNR 34.66、SSIM 0.973、LPIPS 0.028也优于 3DGS-MCMC 的 PSNR 33.80、SSIM 0.970、LPIPS 0.040。效率对比Table 2 显示在 Mip-NeRF 360 上Zip-NeRF训练约 5h29m渲染 FPS 仅 0.1843DGS训练约 21m存储约 797MB渲染 116.15 FPS3DGS-MCMC训练约 31m存储约 733MB渲染 82.46 FPSDBS full训练约 22m存储约 356MB渲染 123.09 FPS分析DBS 的优势不是单纯“质量更高”而是质量、速度、存储三者同时改善。尤其是相比 3DGS-MCMCDBS 在质量更好的同时存储接近减半渲染速度提升明显。消融实验Table 3 展示了 Beta Kernel、Kernel-Agnostic MCMC 和 Spherical Beta 的贡献。结果显示从 3DGS-MCMC 换成 DBS kernel 后PSNR 提升再加入 Kernel-Agnostic MCMCPSNR 继续提升使用 Spherical Beta 后内存大幅降低sb2 通常是质量和内存之间的较好平衡点分析这个消融设计比较完整说明论文的提升不是来自单一组件而是三个模块共同作用。其中 Beta Kernel 提升几何表达Spherical Beta 降低颜色参数量并提升高光表达Kernel-Agnostic MCMC 稳定优化和 densification。主要创新点1. 用 Beta Kernel 替代 Gaussian Kernel提升几何表达能力这是论文最核心的创新。Gaussian Kernel 固定、平滑、无界天然不擅长表达锐利边界和平坦表面。Beta Kernel 是有界支撑的并且通过 (b) 参数控制形状可以在平坦、Gaussian-like、尖锐之间连续变化。这一点的意义在于DBS 不只是增加 primitive 数量来补细节而是提高了单个 primitive 的表达能力。2. 用 Spherical Beta 替代 SH提升高光建模和参数效率传统 SH 更适合表达平滑的 view-dependent color但对尖锐 specular highlight 不友好。Spherical Beta 用 learnable reflection lobe 显式建模 specular component并自然分离 diffuse 和 specular。这使 DBS 在反光物体、金属、桌面、黑色长椅等场景中表现更好。论文第 8 页图 6 展示了 DBS 相比 3DGS-MCMC 更好地分离 diffuse/specular 分量。3. 提出 Kernel-Agnostic MCMC使 densification 不再绑定 Gaussian现有 densification 策略大多是 Gaussian-specific 的。DBS 通过 opacity regularization 证明只调整 opacity 就可以在小 opacity 假设下保持 densified distribution且该结论与 kernel 类型无关。这个创新的价值不只服务于 DBS也可能服务于未来更多 non-Gaussian splatting 方法。4. 几何与光照的可分解性更强由于 Beta Kernel 的 (b) 参数具有频率意义论文可以根据 (b) 值将场景分为结构部分和细节部分。第 6 页图 4 展示了几何分解效果低频 primitive 更偏向整体结构高频 primitive 更偏向纹理和细节。同时Spherical Beta 又能将 base color 和 specular component 分离从而实现光照分解。这个特性对后续编辑、材质分解、重光照和资产制作都有潜在价值。值得借鉴的地方1. 从底层表示出发而不是只做 pipeline trick很多 3DGS 改进方法是在已有 Gaussian 表示上增加正则项、调 densification、加后处理或换训练策略。而这篇论文直接回到最底层问题Gaussian Kernel 本身是否是最优表示这种思路非常值得借鉴。对于一个成熟框架真正有效的创新往往不是局部调参而是重新审视其基础假设。2. 几何表达和颜色表达要协同设计DBS 同时改了几何 kernel 和 view-dependent color encoding。这个组合很重要。只改几何 kernel可能提升边缘和结构但高光仍然受 SH 限制只改颜色编码几何模糊问题仍然存在。DBS 的优势来自几何和外观两条线同时增强。这对做 3DGS、NeRF、SLAM 建图或三维重建的人都有启发几何、颜色、优化不是孤立模块表达能力瓶颈经常来自多个组件之间的不匹配。3. 可解释参数设计很重要Beta Kernel 的 (b) 参数不仅是一个可学习参数而且具有明确解释控制 kernel 的频率和形状。Spherical Beta 的 lobe 参数也有明确图形学含义反射方向、颜色、锐度。这比黑盒 MLP 或高维 latent feature 更容易分析、可视化和编辑。对于希望将 3D 表示用于工程系统、内容生产或可控编辑的场景这种可解释性非常有价值。4. 理论推导与工程实现结合较好论文没有停留在“换一个 kernel 效果更好”的经验结论而是补充了 inverse Abel transform 的一致性分析以及 kernel-agnostic densification 的近似推导。与此同时方法又能落地到 CUDA 和 gsplat pipeline 中保持实时性能。这种“理论上讲得通工程上跑得动”的论文结构非常适合学习。5. 消融实验比较充分论文分别验证了 Beta Kernel、Spherical Beta、Kernel-Agnostic MCMC、不同 sb 数量、opacity regularization、压缩效果等因素。尤其是附录中的 kernel-only comparison在关闭 view-dependent color 后比较 Gaussian 和 Beta能够更清楚地证明 Beta Kernel 本身的表达能力优势。局限性分析1. 仍然是 rasterization-based存在 popping artifacts论文在 Conclusion 中明确指出由于 DBS 仍然基于 rasterization排序过程中存在深度近似误差因此偶尔会产生 popping artifacts。分析这其实是 splatting 系列方法的共性问题。只要依赖近似深度排序和 alpha compositing就可能在视角变化、遮挡关系复杂或 primitive 交叠严重时出现闪烁、跳变或错误遮挡。2. 对镜面反射和各向异性高光仍然不足虽然 Spherical Beta 比低阶 SH 更擅长表示高光但论文也承认它仍然难以处理 mirror-like reflection 和 anisotropic specular highlight。分析Spherical Beta 本质上仍是有限数量的反射 lobe。对于镜子、玻璃、拉丝金属等强反射或方向性很强的材质仅靠几个 lobe 可能不够。未来可能需要结合更强的 BRDF 模型、环境光建模或显式材质分解。3. 远处背景可能导致 Beta Kernel 形状分布异常论文指出frustum model 会导致 Beta Kernels 在远处背景上倾向于优化出 flat geometries从而影响整体 beta geometry distribution。分析这说明 (b) 参数虽然可解释但它的统计分布会受到成像几何、尺度和远近关系影响。因此如果直接用 (b) 做几何/纹理分解可能需要考虑深度、尺度归一化或场景区域差异。4. 小 opacity 假设是 Kernel-Agnostic MCMC 的关键前提Kernel-Agnostic MCMC 的理论推导依赖小 opacity 近似。论文通过 opacity regularization 让平均 opacity 接近 0.1并在附录中验证该设定效果较好。分析这个假设在 volumetric representation 中是合理的但也带来一个问题如果某些任务更需要 surface-like、高 opacity 的几何表达例如 mesh extraction、物理碰撞、精确表面重建那么小 opacity 先验可能不一定最优。DBS 更偏向高质量视觉渲染而不一定直接适合几何精度优先的表面重建任务。5. 对动态场景、开放世界大场景尚未充分验证论文主要实验集中在标准新视角合成数据集如 Mip-NeRF 360、Tanks and Temples、Deep Blending、NeRF Synthetic。分析这些数据集能验证静态场景渲染质量但还不能充分说明 DBS 在动态场景、大规模城市级场景、在线建图、机器人实时感知等任务中的表现。由于 Beta Kernel 和 Spherical Beta 增加了新的可学习参数未来还需要验证其在增量式训练、动态更新、低算力设备上的稳定性。总结Deformable Beta Splatting 是一篇针对 3DGS 底层表示能力进行系统性改造的论文。它的核心贡献不是简单提升某个指标而是从三个关键模块重新设计了 3DGS第一用Deformable Beta Kernel替代 Gaussian Kernel使 primitive 可以自适应表示平面、锐边和平滑区域第二用Spherical Beta替代低阶 SH使 view-dependent color 更适合表达尖锐高光并支持 diffuse/specular 分解第三用Kernel-Agnostic MCMC改造 densification使优化策略不再依赖 Gaussian 的特殊性质。从实验结果看DBS 在重建质量、渲染速度和存储效率之间取得了很好的平衡。它比 3DGS-MCMC 更快、更省参数同时在多个数据集上取得更好的 PSNR、SSIM 和 LPIPS。我认为这篇论文最值得关注的地方在于它证明了 3DGS 的性能瓶颈并不只来自训练策略或参数数量而是来自Gaussian Kernel SH这套基础表示本身。未来的 3DGS 改进很可能会继续沿着“更灵活的 primitive、更物理一致的 appearance model、更通用的 densification 策略”这三个方向发展。