【论文】SOMA:统一参数化人体模型

发布: (2026年3月18日 GMT+8 01:58)
7 分钟阅读
原文: arXiv

Source: arXiv - 2603.16858v1

概述

本文介绍了 SOMA,一种“统一的身体层”,使开发者能够使用任何主要的参数化人体模型(SMPL、SMPL‑X、MHR、Anny 等),而无需为每一对模型编写自定义适配器。通过抽象网格拓扑、骨骼和姿态表示,SOMA 将组合爆炸的问题转化为一个单一的即插即用组件,并能在 GPU 上实时运行。

关键贡献

  • 三层抽象(网格、骨骼、姿态),将所有支持的模型映射到统一的规范表示。
  • 每个顶点的常数时间网格拓扑转换,无需为每个模型维护查找表。
  • 闭式骨骼恢复,在单次遍历中从任意形状或姿态生成适配身份的关节变换——无需迭代优化或模型特定的训练。
  • 姿态逆转,直接从已姿态化的顶点提取统一的骨骼旋转,实现跨模型动作捕捉数据集的无缝混合。
  • 可扩展的连通性:将适配器复杂度从 (O(M^2))(两两转换器)降低到 (O(M))(每个模型一个连接器)。
  • 完全可微、GPU 加速实现,基于 NVIDIA‑Warp 构建,使 SOMA 可直接用于深度学习流水线。

方法论

SOMA 将每个参数化模型视为共享底层人体的 视图

  1. 网格拓扑抽象 – 只定义一次标准网格(“SOMA 网格”)。对于任意源模型,预先计算的每顶点映射告诉 SOMA 如何复制或混合顶点属性,从而实现常数时间的转换。
  2. 骨骼抽象 – 标准骨骼表示为一组 身份感知 的关节变换。利用模型的形状参数,SOMA 求解线性系统,在单一步闭式求解中得到完整的关节层级,无论输入是处于静止姿态还是已经有姿态。
  3. 姿态抽象 – 通过反转标准的线性混合蒙皮(LBS)管线,SOMA 恢复生成给定顶点位置的旋转矩阵。由于蒙皮权重也映射到标准空间,这对所有支持的模型均有效。

所有三层串联在一起,产生一个可微函数

[ \text{SOMA}( \text{model_id}, \text{shape}, \text{pose}) \rightarrow \text{canonical_mesh}, \text{canonical_joints} ]

可以直接嵌入训练循环或推理管线,无需额外的账目管理。

结果与发现

  • 速度 – 网格转换约为每顶点 0.5 µs;骨骼恢复和姿态反演在 RTX 3080 上对完整身体(≈10 k 顶点)均在 <1 ms 内完成。
  • 精度 – 将 SMPL‑X 通过 SOMA 转换为 SMPL 时,得到的网格与直接转换的真实值的平均欧氏距离小于 0.3 mm,证明抽象层并未牺牲几何保真度。
  • 可扩展性 – 添加新模型仅需一次拓扑/权重映射;系统整体规模随模型数量线性增长,而非二次方。
  • 可微分性 – 对输出 SOMA 兼容参数的姿态估计网络进行端到端训练,其收敛速度比使用单独的每模型适配器快 1.8×,得益于抽象层的平滑梯度。

实际意义

  • Cross‑dataset training – 研究人员现在可以在 SMPL‑X、MHR 和 Anny 的动作捕捉数据上训练单一模型,无需手动重新定向,显著扩大可用数据量。
  • Hybrid pipelines – 游戏工作室可以在同一角色中将 SMPL‑X 的高保真面部绑定与 SMPL 的轻量级身体绑定相结合,实时切换各模型的最佳部分。
  • Real‑time applications – 由于整个流水线支持 GPU 加速且可微分,它可以嵌入 AR/VR 头像、直播滤镜或需要快速一致身体表示的机器人仿真中。
  • Simplified tooling – SDK 和库只需提供一个 “SOMA backend”,而不必维护数十个两两转换器,从而降低维护成本和版本兼容性问题。

限制与未来工作

  • Model coverage – SOMA 目前支持最流行的参数模型;异类或专有的装置仍需自定义拓扑/权重映射才能使用。
  • Skinning assumptions – 姿态反演依赖线性混合蒙皮;使用更复杂变形(例如校正混合形状)的模型可能会失去一些细微差别。
  • Fine‑grained detail – 虽然几何误差较低,但细微的高频细节(例如服装皱褶)在模型之间并未显式保留。
  • Future directions – 作者计划将 SOMA 扩展至处理非刚性配件,整合神经隐式表示以实现更精细的细节,并开源转换工具包以加速社区采用。

作者

  • Jun Saito
  • Jiefeng Li
  • Michael de Ruyter
  • Miguel Guerrero
  • Edy Lim
  • Ehsan Hassani
  • Roger Blanco Ribera
  • Hyejin Moon
  • Magdalena Dadela
  • Marco Di Lucca
  • Qiao Wang
  • Xueting Li
  • Jan Kautz
  • Simon Yuen
  • Umar Iqbal

论文信息

  • arXiv ID: 2603.16858v1
  • Categories: cs.CV, cs.AI
  • 出版日期: 2026年3月17日
  • PDF: 下载 PDF
0 浏览
Back to Blog

相关文章

阅读更多 »