[Paper] Zero-Shot 想象语音解码 via 想象到聆听的MEG映射

Source: arXiv - 2605.08075v1

概览

本文解决了极具挑战性的想象语音解码问题——即我们在思考单词时听到的内部“声音”，使用的是非侵入式脑磁图（MEG）技术。通过巧妙地借用听语音录音中的信息，作者展示了一种零样本（zero‑shot）流水线，能够预测一个人默默说出的内容，即使是模型从未见过的受试者也能实现。

关键贡献

• 跨模态映射： 训练模型将想象的MEG信号转换为其“听觉”对应信号，保留刺激特定信息。
• 两阶段解码器复用： 利用仅在听觉数据上训练的词解码器（不需要想象标签），并将其应用于映射后的想象信号。
• 零样本评估： 展示在完全未见的受试者上成功解码，验证了受试者独立的泛化能力。
• 可扩展性洞察： 表明随着配对的听觉/想象数据增多，解码准确率提升，暗示该方法可扩展至更大数据集。
• BCI概念验证： 提供了一个具体的流水线，可集成到脑机接口中用于无声通信。

方法论

1. 数据收集 – 12 位受过训练的音乐家在记录 MEG 时执行了两个任务：

   • 聆听：聆听节奏性旋律和口语刺激。
   • 想象：在脑中默默复述相同的刺激。
     使用音乐家有助于使想象语言的时序与实际音频保持一致。

2. 想象‑到‑聆听映射 – 使用配对的想象‑MEG ↔ 聆听‑MEG 数据训练了六个模型（线性回归器和浅层神经网络），以预测如果受试者实际在聆听时的大脑活动会是什么样子。

3. 词语解码 – 对比解码器（仅在聆听‑MEG 上训练）学习将大脑活动映射到词嵌入。测试了四种嵌入空间：

   • 语义（例如 GloVe）
   • 声学（基于谱图）
   • 语音（音素级向量）
   • 混合组合

4. 零样本流水线 – 对新受试者：

   • 将想象的 MEG 输入最佳映射模型 → 合成的聆听 MEG。
   • 将合成信号输入预训练的词语解码器 → 候选词的排名列表。

5. 评估 – 基于排名的指标（例如 top‑k 准确率、平均倒数排名）将解码得到的词列表与真实想象词进行比较，仅使用未见过的受试者进行测试。

结果与发现

• 映射成功率: 所有六个映射模型在未见受试者上均优于空基线（随机映射），确认刺激特定结构在转换后仍然保留。
• 解码性能: 最佳配置（神经映射 + 语义嵌入）在 10‑词词汇表上实现了 约 30 % 的 top‑1 准确率 和 > 70 % 的 top‑5 准确率——远高于 10 % 的随机水平。
• 数据规模: 将配对会话数量加倍，使 top‑1 准确率提升约 5 %，表明更多训练数据带来大致线性的收益。
• 嵌入影响: 语义嵌入获得最高排名，而纯声学嵌入表现较差，暗示想象语音更倾向于与 意义 而非精确声学模式对齐。

实际意义

• 静默通信接口： 脑机接口（BCI）开发者可以嵌入此流水线，让用户仅通过思考词语即可发出指令或输入文字，无需侵入式电极。
• 辅助技术： 对于语言运动障碍患者（如 ALS），零样本解码器降低了校准负担——只需一次短暂的聆听会话即可启动想象语音解码。
• 神经反馈工具： 实时映射可以为音乐家或语言学习者提供内部排练质量的反馈，开启全新的训练范式。
• 可扩展的数据收集： 由于解码器依赖大量聆听数据，现有的语音MEG语料库可以重新利用，加速商业 BCI 产品的开发周期。

限制与未来工作

• 小样本参与者: 该研究仅涉及约十二位音乐家；需要更广泛的人口统计测试以确认可推广性。
• 词汇规模: 实验仅限于少量词汇；要扩展到开放词汇的语音，需要更丰富的嵌入和语言模型。
• 时间分辨率: MEG 提供高时间精度，但流水线对精确对齐的依赖可能在较不自律的受试者中表现不佳。
• 模型复杂度: 仅探索了浅层线性和神经模型；更深的架构（如 Transformer）可能捕捉到更细微的想象聆听关系。
• 实时可行性: 当前流水线离线处理完整试验；未来工作应优化为低延迟、在线解码，以适用于交互式应用。

作者

• Maryam Maghsoudi
• Shihab Shamma

论文信息

• arXiv ID: 2605.08075v1
• 分类: cs.LG, eess.AS
• 出版日期: 2026年5月8日
• PDF: 下载 PDF