[Paper] Multi-view Pyramid Transformer：看得更粗，以见更广

Source: arXiv - 2512.07806v1

概览

多视角金字塔 Transformer (MVP) 引入了一种全新的方式，将数十甚至数百张照片在一次前向传播中转化为一致的 3D 模型。通过在 视角之间（局部 → 组 → 整体场景）以及 单个视角内部（像素级 → 紧凑 token）安排注意力，MVP 在保持计算和内存需求可控的同时，提供高质量的重建，使大规模场景捕获对开发者而言变得实用。

主要贡献

• 双层次 Transformer 设计 – 局部到全局 的跨视角层次结构结合 细到粗 的单视角层次结构。
• 可扩展的单次重建 – 处理数十至数百张图像，无需迭代优化或对每张图像单独前向。
• 与 3D 高斯点溅射的集成 – 利用快速、可微分的 3D 表示实现业界领先的视觉保真度。
• 广泛的数据集验证 – 在室内、室外和混合现实数据集上均表现出一致的高质量，优于已有的通用方法。
• 效率提升 – 与基线多视角 Transformer 相比，FLOPs 与 GPU 内存最高降低 45 %，且精度不降反升。

方法论

1. 输入预处理 – 将每张输入图像投射为一组 patch token（小空间块）。
2. 细到粗的单视角编码器 – 在单个视角内部，层叠的 Transformer 块逐步合并相邻的 patch，将大量细粒度 token 合并为少量 信息密集 token。这类似于金字塔结构，细节被汇聚到更高层的描述符。
3. 局部到全局的跨视角层次 – 来自每个视角的紧凑 token 首先与 相邻 视角的 token（例如重叠的相机视锥）进行分组。随后更高层的 Transformer 扩大分组半径，最终能够关注场景中的 所有 视角。
4. 交叉注意力融合 – 在每个层次上，交叉注意力让 token 交换上下文，使模型能够共同推理遮挡、光照一致性和几何信息。
5. 3D 高斯点溅射解码器 – 最终融合的表示被解码为一组 3D 高斯点（位置、协方差、颜色、透明度）。这些高斯点可以瞬时光栅化，生成新视角渲染。

整个管线端到端可微分，网络能够在大规模多视角数据集上训练，而无需对每个场景进行微调。

结果与发现

• 质量：MVP 在 PSNR/SSIM 上相较于最佳的通用方法提升约 0.8–1.2 dB。
• 可扩展性：得益于粗粒度 token 的聚合，内存使用随视角数量呈亚线性增长，单块 24 GB GPU 可重建 >200 张图像的场景。
• 速度：完整前向传播（包括解码为高斯点）在典型的 30 视角捕获下不到一秒，实现近实时预览。

定性示例显示相较基线，边缘更锐利、对细小结构（如树叶、细杆）的处理更佳。

实际意义

• 快速场景数字化 – 构建 AR/VR 流程的开发者可以仅凭一次照片连拍生成高保真 3D 资产，无需冗长的优化循环。
• 设备端或边缘部署 – 亚线性内存增长和单次前向的特性，使 MVP 成为移动设备或无人机等现场捕获大量图像的理想候选。
• 内容创作工具 – 3D 建模软件可提供 “即时捕获” 功能，让艺术家通过拍照即可在秒级得到可用的 Gaussian‑splat 模型并快速迭代。
• 机器人与 SLAM – 跨视角层次为融合多摄像头流提供自然方式，可能提升大规模环境下传统束束调整过慢的地图构建。
• 流媒体与云渲染 – 由于输出是紧凑的高斯点集合，下游渲染可在云 GPU 上高效完成，支持可扩展的网页 3D 查看器。

局限性与未来工作

• 依赖相机标定 – MVP 假设已知内外参；处理未标定或噪声较大的位姿仍是未解之题。
• 极高分辨率纹理的保真度 – 虽然高斯点渲染快速，但在超高频纹理上可能出现模糊；引入神经纹理块或可缓解此问题。
• 动态场景 – 当前方案面向静态环境；将层次结构扩展至建模随时间变化的几何将提升对视频捕获的适用性。
• 对非摄影输入的泛化 – 探索 MVP 与深度传感器或 LiDAR 的结合，可进一步提升机器人场景感知的鲁棒性。

作者指出，未来研究将探索自适应 token 预算（为复杂区域分配更多 token）以及与神经辐射场的更紧密融合，以实现混合表示。

作者

• Gyeongjin Kang
• Seungkwon Yang
• Seungtae Nam
• Younggeun Lee
• Jungwoo Kim
• Eunbyung Park

论文信息

• arXiv ID: 2512.07806v1
• 分类: cs.CV
• 发布日期: 2025 年 12 月 8 日
• PDF: Download PDF