Recent advancements in high-fidelity dynamic scene reconstruction have leveraged dynamic 3D Gaussians and 4D Gaussian Splatting for realistic scene representation. However, to make these methods viable for real-time applications such as AR/VR, gaming, and rendering on low-power devices, substantial reductions in memory usage and improvements in rendering efficiency are required. While many state-of-the-art methods prioritize lightweight implementations, they struggle in handling {scenes with complex motions or long sequences}. In this work, we introduce Temporally Compressed 3D Gaussian Splatting (TC3DGS), a novel technique designed specifically to effectively compress dynamic 3D Gaussian representations. TC3DGS selectively prunes Gaussians based on their temporal relevance and employs gradient-aware mixed-precision quantization to dynamically compress Gaussian parameters. In addition, TC3DGS exploits an adapted version of the Ramer-Douglas-Peucker algorithm to further reduce storage by interpolating Gaussian trajectories across frames. Our experiments on multiple datasets demonstrate that TC3DGS achieves up to 67$\times$ compression with minimal or no degradation in visual quality. More results and videos are provided in the supplementary. Project Page: https://ahmad-jarrar.github.io/tc-3dgs/


翻译:近期在高保真动态场景重建方面的进展利用动态3D高斯模型与4D高斯泼溅技术实现了逼真的场景表征。然而,为使这些方法适用于增强现实/虚拟现实、游戏及低功耗设备渲染等实时应用,需大幅降低内存占用并提升渲染效率。尽管众多前沿方法致力于轻量化实现,但在处理具有复杂运动或长序列的场景时仍面临挑战。本研究提出时间压缩3D高斯泼溅技术,这是一种专为高效压缩动态3D高斯表征而设计的新方法。该方法基于高斯模型的时间相关性进行选择性剪枝,并采用梯度感知混合精度量化动态压缩高斯参数。此外,通过改进版Ramer-Douglas-Peucker算法,利用帧间高斯轨迹插值进一步降低存储需求。在多数据集上的实验表明,该方法可实现高达67倍的压缩率,且视觉质量仅出现极小损失或无明显退化。补充材料中提供了更多结果与视频。项目页面:https://ahmad-jarrar.github.io/tc-3dgs/

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
Python图像处理,366页pdf,Image Operators Image Processing in Python
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员