[Paper] 用于体积重建的 Radiance Meshes

发布: 1天前 (2025年12月4日 GMT+8 02:57)

7 min read

原文: arXiv

Source: arXiv - 2512.04076v1

Overview

本文提出了 radiance meshes（辐射网格），一种使用 Delaunay 四面体网格存储和渲染体积辐射场的新方法。通过利用硬件友好的三角形，作者实现了在消费级 GPU 上的精确实时体积渲染，为交互式视图合成和下游 3‑D 应用打开了大门。

Radiance Mesh Representation – 在由 Delaunay 四面体化生成的恒密度四面体单元中编码辐射度和密度。
Hardware‑Accelerated Rendering – 引入了光栅化管线（以及光线追踪回退），能够精确求解体积渲染积分，在相同基元数量下超越现有 NeRF‑style 表示。
Topology‑Robust Optimization – 使用 Zip‑NeRF 风格的骨干网络，即使顶点移动导致 Delaunay 网格出现边翻转，场仍保持平滑。
Real‑Time View Synthesis – 在标准消费级 GPU（桌面和移动）上实现交互式新视角渲染，且不牺牲视觉保真度。
Versatile Downstream Uses – 展示了四面体结构天然支持鱼眼畸变校正、基于物理的仿真、网格编辑以及直接网格提取等多种下游任务。

Mesh Construction – 从稀疏的 3‑D 点集（例如多视角 SfM）出发，计算 Delaunay 四面体化，得到一组顶点位于点云上的非重叠四面体。
Field Parameterization – 每个四面体存储一个恒定密度值和在其四个顶点处定义的辐射函数。单元内部的辐射通过线性（重心）插值获得。
Learning the Parameters – 神经网络（Zip‑NeRF 骨干）预测每个顶点的密度和辐射。在训练过程中，顶点位置也会被优化；当移动触发边翻转时，网络的连续形式保证场不会出现突变。
Exact Volume Rendering
- Rasterization Path – 将四面体投影为屏幕上的三角形。对每个像素，GPU 按前向后顺序遍历相交的四面体，使用经典体积渲染方程累加透射率和发射辐射。由于每个单元的密度是常数，积分化简为闭式指数形式，单次遍历即可完成。
- Ray‑Tracing Path – 对于偏好光线追踪的平台（如 RTX GPU），使用 BVH 遍历相同的四面体数据结构，同样采用精确的指数公式。
Training Objective – 标准的光度损失（渲染图像与真实图像的 L2）加上平滑性和网格质量的正则项。

Speed – 在 RTX 3080 上，光栅化管线以 >60 fps 渲染 4K 新视角，较体素网格和哈希网格 NeRF 基线在相同内存预算下提升 2–4 倍。
Quality – PSNR/SSIM 分数与最先进的 instant‑NeRF 与 Plenoxels 持平，同时保留细腻的视角依赖效应（高光、半透明）。
Robustness to Topology Changes – 在顶点被大幅移动（导致大量边翻转）的实验中，渲染质量未出现退化，验证了 Zip‑NeRF 骨干的连续性。
Application Demonstrations – 作者展示了实时鱼眼镜头畸变校正、交互式流体仿真在体积内部的种子放置，以及通过四面体网格的等值面 marching 提取干净的网格。

Interactive Content Creation – 艺术家可以编辑底层点云（添加、移动、删除点），并即时看到更新后的视图合成，使辐射网格成为 AR/VR 资产流水线的有前景工具。
Game & Simulation Engines – 由于该表示依赖三角形，现有光栅化管线（Unity、Unreal）可以几乎无需自定义着色器地导入辐射网格，实现实时体积光照、雾效或半透明对象。
Edge‑Device Deployment – 仅光栅化路径在移动 GPU 上运行高效，为现场 3‑D 扫描应用提供了无需云端处理即可实时输出新视角视频的可能。
Scientific Visualization – 精确的体积渲染积分和恒密度单元简化了与物理求解器（如 CFD）的耦合，研究人员可以将仿真场与学习得到的辐射数据一起可视化。
Data Compression – 将场景存储为相对较少的四面体（通常 < 1 M 单元）比密集体素网格更紧凑，降低了高保真 3‑D 内容流式传输的带宽需求。

Resolution Bottleneck – 虽然方法随基元数量线性扩展，但极高频细节仍需大量细小四面体，可能会压迫 GPU 内存和遍历速度。
Uniform Density per Cell – 假设每个四面体内部密度恒定限制了对尖锐密度梯度的建模，除非进一步细分。
Training Complexity – 顶点位置与神经参数的联合优化增加了 bookkeeping（边翻转处理），相较于静态网格方法训练时间更长。
Future Directions – 作者提出自适应细化（在误差高的区域拆分四面体）、将辐射网格与学习纹理图混合的混合表示，以及更紧密地集成硬件光线追踪 API，以进一步提升实时性能。