[论文] Neu-PiG：神经预条件网格用于长序列的快速动态表面重建

Source: arXiv - 2602.22212v1

概述

Neu‑PiG 引入了一种 神经预条件网格，能够在几秒钟内从长时间、无结构的点云序列中重建时间一致的 3‑D 表面。该方法通过将多分辨率潜在网格与轻量级 MLP 相结合，避免了昂贵的对应搜索和特定类别的训练，同时仍能提供无漂移的高保真结果。

关键贡献

• 预条件潜在网格编码，在参考表面上使用位置和法线方向存储空间特征。
• 多分辨率表示，在单一潜在空间中捕获从粗到细的变形，覆盖整个序列。
• 基于 Sobolev 的梯度预条件，稳定训练，消除漂移，且无需显式对应关系。
• 快速、免训练流水线：长序列（数千帧）的重建速度比以往仅优化的方法快 > 60 倍。
• 推理速度可与重量级预训练模型相媲美，同时保持 类别无关（无需针对每个类别进行训练）。

方法论

1. 关键帧选择 – 选择单帧作为几何参考；其表面提供位置和法线的坐标系。
2. 潜在网格构建 – 在参考表面上铺设一个 3‑D 网格。每个单元格存储一个特征向量，该向量使用 Sobolev 范数进行预条件化，以鼓励空间变化平滑。
3. 时间调制 – 将低维时间码与空间特征拼接，使同一网格能够表示任意帧的变形。
4. 解码 – 一个小型 MLP（≈2–3 个隐藏层）将组合的时空特征映射为每个点的 6‑DoF 刚体变换，实质上将参考表面“扭曲”到目标帧。
5. 优化 – 通过梯度下降最小化扭曲后参考与原始输入点云之间的点对点距离损失。Sobolev 预条件化重塑了损失曲面，使收敛快速且稳定，无需任何对应先验。

整个管线是端到端可微的，并在单个 GPU 上运行。

结果与发现

• 准确性: Neu‑PiG 在人体动作捕捉和动物运动数据集上实现了比当前最先进方法（例如 Neural Dynamic Surfaces、DynamicFusion）更低的 Chamfer 和 Hausdorff 距离。
• 速度: 对 2 000 帧序列的重建在 ≈30 s 内完成，比最佳无训练基线快 > 60 倍（后者需要 > 30 min）。
• 可扩展性: 多分辨率网格能够处理高达 10 000 帧 的序列而不会出现内存爆炸，这归功于分层特征布局。
• 鲁棒性: 在长时间运行中未观察到漂移，即使输入点云有噪声或部分遮挡，因为 Sobolev 预条件器在时间上强制平滑。

实际意义

• 实时捕获管线 – 开发者可以将 Neu‑PiG 集成到实时扫描设置中（例如 AR/VR 身体追踪），在快速、无漂移的表面更新至关重要的场景下使用。
• 动画与特效 – 艺术家能够从原始传感器数据生成高质量的动态网格，无需手工制作对应关系或为每个角色训练模型。
• 机器人与运动分析 – 快速重建实现了即时的形状理解，可用于操作或步态分析，降低反馈回路的延迟。
• 云服务 – 轻量级的 MLP 与网格表示易于序列化和传输，使得在服务器端运行优化并将结果流式传输到轻量客户端成为可能。

Limitations & Future Work

• 参考依赖 – 重建质量取决于所选关键帧；捕捉不佳的参考会限制形变的表现力。
• 网格的内存扩展 – 尽管采用层次结构，极高分辨率的网格仍可能对超稠密点云的 GPU 内存造成压力。
• 非刚性局部形变 – 当前解码器仅为每个点输出全局 6‑DoF 变换；要建模细粒度的非刚性形变（例如皮肤皱纹）需要扩展的解码器。
• 未来方向 – 作者建议采用自适应关键帧选择、学习的层次解码器用于局部弹性，以及与可微渲染管线结合，以通过视觉反馈闭环。

作者

• Julian Kaltheuner
• Hannah Dröge
• Markus Plack
• Patrick Stotko
• Reinhard Klein

论文信息

• arXiv ID: 2602.22212v1
• Categories: cs.CV
• Published: 2026年2月25日
• PDF: 下载 PDF