[Paper] SpokenUS：用于任务导向对话的语音用户模拟器

Source: arXiv - 2603.16783v1

概述

本文介绍了 SpokenUS，一种用于训练和评估任务导向对话（TOD）系统的口语用户模拟器。作者首先发布了一个庞大的口语对话语料库——SpokenTOD，包含超过 52 k 条对话和 1 034 小时的音频，展示了如何系统地将真实的语音现象（跨轮槽位提及、抢话、口误以及情感韵律）注入数据，从而更忠实地模拟真实用户与语音助手的对话。

关键贡献

• SpokenTOD 数据集：52 390 条口语化任务导向对话，涵盖多个领域，标注了四种用户行为（跨轮槽位、抢话、口吃、情感韵律）。
• SpokenUS 模拟器：一个模块化架构，可生成带有上述行为的口语用户话语，包含专门的抢话模块，使用户能够在系统响应过程中中断。
• 目标覆盖等价：尽管规模远小于通用大语言模型，SpokenUS 在可表达的用户目标多样性上与之相当。
• 人工评估优势：MOS（平均意见分）测试表明，SpokenUS 生成的语音比基线模拟器更自然、更具人类特征，尤其在逐步揭示槽位值方面表现突出。
• 开源流水线：作者公开了代码和数据增强脚本，提供了一种可复现的方式，将真实的口语现象加入现有的任务导向对话语料库。

方法论

1. 数据增强 – 从现有的基于文本的 TOD 语料库出发，团队使用规则驱动和神经网络的转换方法插入四种目标行为。例如，将 跨轮槽位 延迟到后面的轮次，使用训练好的填充词插入模型注入 口吃（如 “uh”、 “um”），并通过在情感标签上条件化 TTS 系统来添加 情感韵律。
2. SpokenUS 架构 – 模拟器由三个紧密耦合的模块组成：
   • 目标规划器：选择用户目标并决定槽位请求的顺序。
   • 行为控制器：在每一轮根据学习到的策略决定是否抢话、添加口吃或修改韵律，以模拟人类轮次交替的统计特征。
   • 语音生成器：使用能够变化音高、语速和强度以表达所选情感的神经 TTS 模型渲染最终话语。
3. 训练与评估 – 行为控制器在增强后的 SpokenTOD 数据上使用监督学习进行训练，而 TTS 部分在相同音频上进行微调，以捕捉韵律模式。人工评审对自然度（MOS）和槽值时序的真实感进行评分，自动指标则衡量目标覆盖率和对话成功率。

结果与发现

关键要点

• SpokenUS 生成的发话被人类评为比现有模拟器更自然，且即使规模远小于大型语言模型，也能与之竞争。
• 模拟器能够 延迟槽位披露，这与真实用户行为相符，对训练必须提出澄清问题的对话代理至关重要。
• 引入 抢话 与 情感韵律 为下游对话管理器提供了可衡量的压力测试，揭示了仅文本训练所忽略的弱点。

实际意义

• Robust Voice Assistant Development – 团队可以将 SpokenUS 接入其训练流水线，使对话策略面对真实的打断和犹豫，从而在产品面向真实用户时降低失败案例。
• Automated Testing – 该模拟器可以按需生成成千上万种多样的语音交互，支持对语音识别、意图分类和策略选择组件进行持续集成（CI）测试。
• Domain Expansion – 由于增强流水线与领域无关，开发者可以快速将现有的文本数据集（例如餐厅预订、旅行）转化为语音形式，节省数月的数据收集时间。
• Emotion‑aware Systems – 通过提供情感韵律，SpokenUS 帮助开发者原型化能够根据用户情绪（例如对沮丧用户使用安抚语调）调整回应的代理。
• Open‑source Ecosystem – 已发布的代码和数据降低了初创公司和研究实验室构建更具韧性的语音对话代理的门槛，无需庞大的内部语音语料库。

限制与未来工作

• 说话人多样性 – 虽然 SpokenTOD 包含了许多说话人，但其声学多样性仍未覆盖野外环境中出现的全部口音、方言和背景噪声。
• 基于规则的增强偏差 – 某些行为插入依赖手工规则，可能无法捕捉所有细微的人类语音模式。
• 情感标签的可扩展性 – 当前的韵律模型使用的情感类别有限，更多丰富的情感状态仍未被探索。
• 评估范围 – 人类 MOS 只在部分领域收集；需要更广泛的用户研究（例如，长期交互）来确认长期效益。

未来方向 包括通过众包录音扩展说话人库，整合端到端神经增强（去除基于规则的步骤），以及将模拟器扩展到多模态情境（例如，视觉线索与语音并存）。

作者

• Jonggeun Lee
• Junseong Pyo
• Jeongmin Park
• Yohan Jo

论文信息

• arXiv ID: 2603.16783v1
• 类别: cs.CL
• 发表时间: 2026年3月17日
• PDF: 下载 PDF