[Paper] SARAH：空间感知实时代理人类

Source: arXiv - 2602.18432v1

概述

本文介绍了 SARAH——一个实时、完全因果的系统，使虚拟代理在对话中具备空间感知能力。通过联合处理用户的 3‑D 位置和二元音频，SARAH 生成全身动作，不仅将手势与语音同步，还能让化身面向对话者并实时控制注视强度。这是首个能够在流式 VR 头显上以每秒数百帧运行的方法，为真正交互式数字人打开了大门。

关键贡献

• 首个因果、流式架构用于空间感知的对话式动作，使得在低延迟设备（如 VR 头显）上进行推理成为可能。
• 混合 VAE‑Transformer + flow‑matching 模型，在连续流式处理中交错潜在 token，并在用户轨迹和音频两方面对动作进行条件化。
• 带有分类器自由引导的凝视评分机制，在推理时将学习到的自然眼神接触行为与用户控制的凝视强度分离。
• 在 Embody 3D 数据集上实现业界领先的动作质量，帧率超过 300 FPS（约比之前的非因果基线快 3 倍）。
• 实时 VR 演示验证了在远程呈现场景中的端到端部署。

方法论

1. Input Stream – 系统接收两个实时流：(a) 用户的 3‑D 位置信息（头部和手部追踪器），以及 (b) 双向音频波形。
2. Causal VAE‑Transformer – 变分自编码器将过去的动作帧编码到潜在空间。因果 Transformer 逐个 token 处理这些潜在向量，确保每个输出仅依赖已观测到的数据（不进行未来预测）。
3. Interleaved Latent Tokens – 为支持连续流式处理，潜在 token 与携带最新用户姿态和音频特征的“控制 token”交错排列，使模型能够在每一帧更新预测。
4. Flow‑Matching Decoder – 与传统自回归解码器不同，流匹配网络直接将潜在轨迹映射为全身关节位置，条件为用户的轨迹和音频。这样实现了快速且高保真的动作合成。
5. Gaze Scoring & Classifier‑Free Guidance – 轻量分类器从潜在表示中预测“注视分数”（眼神接触的自然程度）。在推理时，开发者可以上下调节该分数，从而在无需重新训练模型的情况下控制化身注视用户的强度。

结果与发现

• 运动质量 – 在 Embody 3D 基准测试中，SARAH 在客观指标（例如更低的平均关节误差）和人类感知研究（参与者评价 SARAH 的化身更自然）方面均优于以往的非因果方法。
• 速度 – 该流水线在消费级 GPU 上运行速度为 >300 FPS，约为最佳非因果基线的 3× faster，满足沉浸式 VR 对亚 10 ms 延迟的要求。
• 空间动态 – 模型捕捉细微的对话线索：将躯干转向移动的用户、调整肩部方向，并根据学习到的评分函数调节视线。
• 现场演示 – 在 VR 远程呈现测试中，用户报告相较于静态化身控制，交互更流畅、存在感更强。

实际意义

• VR/AR 远程呈现 – 开发者可以将 SARAH 嵌入社交 VR 平台，使头像自动面向并注视参与者，让远程会议更自然。
• 数字助理与训练模拟 – 实时空间感知让虚拟教练、客服机器人或医学培训师能够响应受训者的位置，提高参与度和学习效果。
• 游戏开发 – NPC 现在可以在过场动画或交互式对话中保持可信的眼神接触和身体朝向，而无需预先录制的动画混合。
• 低延迟部署 – 由于该方法完全因果且可在数百 FPS 运行，适用于边缘设备（独立 VR 头显、AR 眼镜），无需云端后端，保护隐私并降低带宽需求。

限制与未来工作

• 数据集偏差 – SARAH 在 Embody 3D 数据集上进行训练，该数据集主要包含脚本化的二人对话；在人群密集或高度动态的多用户场景中的表现尚未测试。
• 仅音频条件 – 系统依赖干净的二人音频；嘈杂环境或重叠语音可能会降低手势‑语音对齐的质量。
• 细粒度控制 – 虽然视线强度是可控的，但其他表达参数（例如面部微表情、手势风格）未向开发者显式暴露。
• 未来方向 – 将模型扩展到多人物设置，集成鲁棒的语音分离前端，并添加用户可编辑的风格标记以实现个性化动作，被列为下一步工作。

作者

• Evonne Ng
• Siwei Zhang
• Zhang Chen
• Michael Zollhoefer
• Alexander Richard

论文信息

• arXiv ID: 2602.18432v1
• 分类: cs.CV
• 出版日期: 2026年2月20日
• PDF: 下载 PDF