[Paper] 迈向数字人类的交互智能

Source: arXiv - 2512.13674v1

请提供您希望翻译的具体文本内容，我将按照要求将其译成简体中文并保留原始的格式和链接。

概述

本文提出了 Mio（Multimodal Interactive Omni‑Avatar），一个将数字人从静态、预脚本化的化身推向真正交互式代理的新框架。通过结合推理、自然语言、面部和身体动画，Mio 能够展现一致的个性、即时适应行为，甚至随时间自行改进——作者将其称为 Interactive Intelligence。

关键贡献

• 交互智能范式 – 定义了一种数字人，能够对齐人格、适应交互并自我进化。
• Mio 架构 – 一个端到端系统，包含五个紧密耦合的模块：
  1. Thinker（认知推理与人格建模）
  2. Talker（上下文感知对话生成）
  3. Face Animator（高保真面部表情合成）
  4. Body Animator（姿势与手势生成）
  5. Renderer（实时光照真实感视觉输出）
• 统一多模态流水线 – 所有模块共享统一的潜在表示，实现语音、面部和身体线索的一致性。
• 新基准 – 一个综合评估套件，衡量人格一致性、交互适应性、视觉真实感以及自我进化能力。
• 先进的性能 – Mio 在每个基准维度上均优于现有数字人流水线。

方法论

1. Thinker 使用轻量级 transformer 构建人格图（特质、目标、记忆），并可在线更新。
2. Talker 接收人格状态和对话上下文，然后通过针对一致性和落地进行微调的大型语言模型生成回复。
3. Face & Body Animators 将文本输出转化为富有表现力的面部 blendshapes 和全身动作，使用在多模态语料库（语音对齐视频、动作捕捉）上训练的条件扩散模型。
4. Renderer 将动画网格贴合到基于神经辐射场（NeRF） 的化身上，以 >30 fps 的帧率输出写实画面。
5. Self‑evolution loop：每次交互后，将反馈信号（用户情感、任务成功率）反馈给 Thinker，以调整人格图，实现持续学习，无需完整重新训练。

整个流水线在单个 GPU 服务器上运行，使实时部署成为可能。

结果与发现

人类评估者报告称，Mio 的回复感觉“更符合品牌”，其手势与语音“自然同步”。消融研究表明，移除共享潜在空间会导致一致性下降 15%，从而确认了紧密多模态耦合的重要性。

实际影响

• 客服机器人 可以在保持一致的品牌个性的同时适应每位用户的语气，降低流失率。
• 虚拟培训与仿真（例如医疗、航空）受益于能够对学员行为做出真实反应并根据绩效数据演进的化身。
• 游戏与 XR 开发者获得即插即用的化身引擎，能够在无需手工制作动画流水线的情况下提供可信的 NPC。
• 内容创作 平台可以自动生成访谈式视频，数字主持人在多个剧集之间保持一致的主题。

因为该系统在普通硬件上实时运行，工作室和企业可以在不进行大规模基础设施升级的情况下，将其集成到现有的工作流中。

限制与未来工作

• 人格图的可扩展性：当前的 Thinker 只能处理几十个特质；要扩展到更丰富、长期的记忆可能需要层次化的记忆结构。
• 数据偏见：训练语料库主要以西方的语言和动作模式为主，这可能限制其跨文化适应性。
• 细粒度控制：虽然系统是端到端的，但设计者有时需要对安全关键的手势或语音进行显式覆盖。
• 作者提出的未来方向包括：
  1. 融入多模态强化学习，以实现更稳健的自我进化。
  2. 将基准扩展到多语言和跨文化场景。
  3. 为移动 AR 设备优化渲染器。

作者

• Yiyi Cai
• Xuangeng Chu
• Xiwei Gao
• Sitong Gong
• Yifei Huang
• Caixin Kang
• Kunhang Li
• Haiyang Liu
• Ruicong Liu
• Yun Liu
• Dianwen Ng
• Zixiong Su
• Erwin Wu
• Yuhan Wu
• Dingkun Yan
• Tianyu Yan
• Chang Zeng
• Bo Zheng
• You Zhou

论文信息

• arXiv ID: 2512.13674v1
• 类别: cs.CV, cs.CL, cs.GR, cs.HC
• 发布时间: 2025年12月15日
• PDF: 下载 PDF