[Paper] 大型基础模型中的音视频智能

Source: arXiv - 2605.04045v1

概述

论文 “Audio‑Visual Intelligence in Large Foundation Models” 调查了在声音和视觉上共同推理的多模态 AI 的爆炸性发展。通过将从语音识别到视频驱动的音频合成等各类研究线索统一到一个分类体系下，作者为开发者提供了构建、评估和扩展下一代音视频系统的路线图。

关键贡献

• 统一分类法： 引入一个涵盖 理解、生成 和 交互 任务的综合分类体系，适用于音视频 AI。
• 方法论综合： 分解核心技术（模态标记化、跨模态融合、自回归与扩散生成器、大规模预训练、指令对齐、偏好优化）。
• 基准与数据集整理： 汇总最常用的数据集、基准测试和评估指标，揭示同步、空间推理和安全性方面的不足。
• 行业洞察： 分析近期商业系统（如 Meta MovieGen、Google Veo‑3），展示真实世界的部署模式和约束。
• 未来研究议程： 突出时间对齐、可控生成、多模态 grounding 与负责任 AI 保障等开放挑战。

方法论

与其提出新模型，作者们进行了一项 系统文献综述，聚焦于能够同时处理音频和视觉流的大规模基础模型。他们的工作流程包括：

1. 范围定义： 选择满足以下条件的论文：(a) 在多模态音视频数据上工作，(b) 在海量语料库上进行预训练，且 (c) 针对超出单模态基线的下游任务。
2. 分类构建： 将工作划分为三个高层次家族——理解（例如声事件检测、音视频语音识别）、生成（例如音驱动视频合成、视频转音频）和交互（例如多模态对话代理、具身代理）。
3. 技术映射： 将每篇论文映射到一组构建块（分词器、融合层、训练目标），以揭示常见的设计模式。
4. 基准调查： 编目数据集（如 AVSpeech、VGGSound、LRS3‑TTS）和评估指标（如 SyncNet 分数、视频的 FID、音频的 PESQ），以实现苹果对苹果的比较。
5. 差距分析： 确定当前方法的不足之处——尤其是在细粒度时间对齐、空间音视频推理以及可控性方面。

结果与发现

• Transformer‑Based Fusion 的主导地位: 大多数最先进的模型采用多头注意力来融合音频和视觉令牌流，实现了卓越的跨模态检索和生成质量。
• 用于生成的 Diffusion 模型: 基于扩散的方法（例如 AudioLDM、Video Diffusion）如今在可控的音视频合成方面领先，提供比早期 GAN 或自回归方法更高的保真度和更好的对齐。
• 指令微调的多模态 LLM: 新兴的“多模态 LLM”（例如 Flamingo‑Audio、GPT‑4V）表明，大规模指令微调显著提升了在多样化 AVI 任务上的零样本表现。
• 评估不一致性: 本综述揭示了评估生态的碎片化——不同论文使用各异的同步度量，导致客观基准进展变得困难。
• 安全与偏见问题: 音视频模型继承了两种模态的偏见（例如性别化的声音‑视觉配对），并带来新的隐私风险（深度伪造视频‑音频生成），因此呼吁进行标准化的安全审计。

实际意义

• 多模态产品的快速原型开发：开发者现在可以将预训练的音视频基础模型嵌入到流水线中，用于自动视频字幕、沉浸式 AR/VR 体验或实时配音等任务。
• 改进的内容创作工具：基于扩散的生成器实现了可控的视频转音频或音频驱动的视频合成，为制作本地化媒体、游戏资产或营销视频提供了成本效益高的方式。
• 增强的人机交互：能够理解语音和视觉上下文的多模态对话代理可以驱动更智能的虚拟助理、客服机器人和具身机器人。
• 团队标准化基准：精心整理的基准列表为工程团队提供了一套明确的评估模型更新的指标，确保在各项目中一致的进度跟踪。
• 安全优先的开发：通过强调偏见和深度伪造风险，调查促使产品团队在开发周期的早期嵌入水印、内容验证和用户同意检查。

限制与未来工作

• 调查范围： 虽然范围广泛，但本综述仅聚焦于截至2024年初发布的工作；该领域发展迅速，最新模型（例如即将出现的多模态扩散混合模型）可能未被覆盖。
• 定量比较： 由于评估协议的异质性，本文无法提供单一的“排行榜”排名；相反，它提供了定性的趋势分析。
• 深度与广度的权衡： 统一的分类法牺牲了对细分子领域（例如音视频情感识别）的深入探讨，以换取更广泛的覆盖。
• 未来方向： 作者呼吁建立统一的评估套件、改进时空对齐机制、可控生成接口以及稳健的安全框架——这些都是开放源码贡献和产学合作的热点领域。

作者

• You Qin
• Kai Liu
• Shengqiong Wu
• Kai Wang
• Shijian Deng
• Yapeng Tian
• Junbin Xiao
• Yazhou Xing
• Yinghao Ma
• Bobo Li
• Roger Zimmermann
• Lei Cui
• Furu Wei
• Jiebo Luo
• Hao Fei

论文信息

• arXiv ID: 2605.04045v1
• 分类: cs.CV
• 发布: 2026年5月5日
• PDF: 下载 PDF