[Paper] 多功能多模态代理用于多媒体内容生成

发布: 1周前 (2026年1月7日 GMT+8 02:49)

7 min read

原文: arXiv

Source: arXiv - 2601.03250v1

概述

本文提出了 MultiMedia‑Agent，一种统一的 AI 系统，能够接受异构的图像和视频输入，并端到端地自动生成丰富的多模态输出（视频、音频、文本等）。通过结合数据生成流水线、专用创作工具库以及基于技能获取理论的全新训练方案，作者展示了单一代理能够超越一组特定任务的生成模型。

Data Generation Pipeline – 通过将原始视觉输入与使用现有生成模型自动生成的音频、字幕和旁白配对，创建合成多模态数据集。随后人工标注者对这些多模态捆绑的质量进行排序，提供偏好信号。
Tool Library – 一个模块化的预训练模型集合（例如，image‑to‑video、text‑to‑speech、music synthesis），代理可以通过统一的 API 调用。每个工具都被包装为代理可以调用的“skill”。
Plan Construction & Correlation – 代理首先草拟一个高层次计划（使用哪些工具、顺序如何）。
- Self‑correlation: 代理使用学习到的评估器预测其计划的预期质量。
- Model‑preference correlation: 将计划与人工评分的偏好数据进行比较；不匹配的部分会受到惩罚。
Three‑Stage Training
- Base Training – 代理通过原始合成数据学习将输入映射到工具选择序列。
- Success‑Plan Fine‑tuning – 仅使用排名最高（人工偏好）的计划来微调策略，鼓励代理模仿成功的策略。
- Preference Optimization – 类强化学习的步骤，直接优化偏好对齐度量，确保最终输出符合用户认为的“好”。

量化收益：在基准任务（视频字幕 → 视频生成、图像 → 音乐视频等）中，MultiMedia‑Agent 相比最佳单模态基线，文本组件的 BLEU/ROUGE 提升约 12 %，音频/视频质量的 MOS（平均意见分）提升约 0.6 分。
偏好对齐：偏好优化阶段将获得前‑3 名人类排名的输出比例从 38 %（基线）提升至 71 %。
消融研究证实，两阶段相关性和三阶段训练流水线均显著贡献；去除任一环节会导致性能下降 8–10 %。

端到端内容管道 – 开发者可以用一次调用 MultiMedia‑Agent 的 API 替代一系列独立模型（例如独立的视频编辑器、文本转语音引擎、字幕生成器），从而降低集成开销。
面向媒体创业公司的快速原型 – 该代理能够从少量原始素材自动生成预告视频、播客或互动广告，加速产品上市时间。
个性化媒体创作 – 由于系统经过训练以匹配用户偏好，可在品牌风格指南上进行微调，实现按需生成品牌一致的多媒体资产。
工具库可扩展性 – 可以将新的生成模型（例如基于扩散的视频合成）作为“技能”加入，而无需重新训练整个代理，使平台具备面向未来的能力。

偏好数据的可扩展性 – 当前流水线依赖人工评估的合成计划；将其扩展到大规模、多样化领域可能成本高昂。
工具依赖性 – 代理的性能受底层工具质量的限制；任何组件的失效（例如，糟糕的文本转语音）都会传递到最终输出。
实时约束 – 生成完整的多媒体序列仍然会产生明显的延迟，限制了需要即时反馈的使用场景。
未来方向（作者建议）包括：
1. 引入主动学习以减少人工标注工作量。
2. 探索层次化规划，以应对更长形式的内容（例如，完整电影）。
3. 与交互式编辑界面更紧密集成，使开发者能够在生成过程中进行干预。