[Paper] RSATalker：面向多轮对话的真实社交感知 Talking Head 生成

Source: arXiv - 2601.10606v1

概述

RSATalker 是一个新框架，将 3‑D Gaussian Splatting（3DGS）的视觉保真度与“社交感知”模块相结合，生成能够进行多轮对话的逼真说话头像。通过显式建模人际关系（例如，家庭 vs. 同事、权力动态），系统能够产生视频级别的头像，在社交 VR 或虚拟助理场景中看起来和行为更像真实的人。

关键贡献

• 首个具备社会感知的说话头像生成器，能够将关系语义（血缘 vs. 非血缘，平等 vs. 不平等）编码到头像的面部动态中。
• 混合流水线：语音驱动的网格变形 → 将 3D 高斯绑定到网格面 → 高质量 2D 渲染，实现 3DGS 的真实感，而无需大型 2D 扩散模型的高计算成本。
• 可学习的查询机制 用于关系嵌入，使模型能够根据社会情境调整面部表情和视线。
• 三阶段训练策略（网格运动预训练、Gaussian 绑定、社交模块微调），在数据有限的情况下稳定学习。
• RSATalker 数据集：

  10 k 组三语音、3‑D 面部网格和渲染图像，每个样本均标注关系标签，已发布以供可复现性。

方法论

1. Speech‑to‑Mesh Motion – 一个轻量级神经网络从输入音频波形预测标准面部网格上每个顶点的位移，保持唇形同步和粗略表情。
2. Gaussian Splatting Layer – 每个网格面片都填充一小组 3‑D 高斯分布，其位置、协方差和颜色均通过学习得到。在渲染过程中，这些高斯被投影到屏幕上，实时生成逼真的化身帧（≈30 fps 于消费级 GPU 上）。
3. Socially‑Aware Embedding – 一组可学习的查询向量在关系分类（血缘/非血缘、平等/不平等）上进行注意。得到的嵌入调节高斯属性（例如，细微的眼神接触、头部倾斜），以体现说话者的社会角色。
4. Training Pipeline
   • Stage 1: 在数据集仅包含网格的部分上训练 speech‑to‑mesh 模型。
   • Stage 2: 冻结网格模型，学习高斯参数以匹配真实渲染图像。
   • Stage 3: 引入关系查询并对整个系统进行端到端微调，优化多任务损失（唇形同步、视觉真实感、关系一致性）。

结果与发现

• 真实感: RSATalker 在 LPIPS 上提升了 0.12，并且在用户评分的视觉保真度上比最强的 3DGS 基线提升了 7 %。
• 社会感知: 在盲测中，参与者能够正确识别预期的关系（例如“与老板交谈” vs. “与朋友交谈”）的准确率为 84 %，而非感知模型为 52 %。
• 效率: 在 RTX 3060 上渲染 10 秒的片段耗时约 0.5 秒，远低于需要每帧数分钟的大规模 2‑D 扩散流水线。
• 消融实验: 移除关系嵌入会导致社会感知得分下降 30 %，验证了其核心作用。

实际意义

• Virtual Reality & Metaverses – 开发者可以在社交空间中嵌入 RSATalker 头像，通过细腻的人际线索（尊重的目光、微妙的姿势变化）提升沉浸感，降低“恐怖谷”。
• Remote Collaboration Tools – 实时视频头像可根据会议层级（例如演讲者 vs. 与会者）自适应面部行为，使虚拟会议更自然。
• AI‑Powered Assistants – 客服机器人可根据用户画像调整面部表现（例如对高级管理者更正式，对同事更轻松）。
• Game Development – NPC 可以展示基于关系的面部动态，无需手工制作每个动画，节省美术资源。
• Low‑Cost Production – 由于流水线在消费级 GPU 上运行，独立工作室和初创公司能够在不投入昂贵渲染农场的情况下生成高质量的说话头像。

限制与未来工作

• 数据集范围 – RSATalker 的训练数据覆盖的语言和文化背景有限；在代表性不足的口音或手势上性能可能下降。
• 静态背景 – 当前实现假设背景固定；将动态环境或全身动作集成仍是一个未解决的挑战。
• 细粒度情感 – 虽然捕获了关系线索，但未显式建模细微情感状态（例如讽刺）。未来工作可以将情感计算信号与社交模块融合。
• 大规模人群的可扩展性 – 将该方法扩展到同时的多人对话（群聊）将需要更复杂的交互建模。

RSATalker 为具备社交智能、逼真渲染的化身打开了大门，这些化身能够在 VR 及其他环境中自然对话——这是迈向以人为本的虚拟体验的激动人心的一步。

作者

• Peng Chen
• Xiaobao Wei
• Yi Yang
• Naiming Yao
• Hui Chen
• Feng Tian

论文信息

• arXiv ID: 2601.10606v1
• 分类: cs.CV
• 发布时间: 2026年1月15日
• PDF: 下载 PDF