[Paper] 流媒体视频指令微调

Source: arXiv - 2512.21334v1

概览

本文介绍了 Streamo，一个实时、基于大语言模型的助手，能够理解并与实时视频流进行交互。不同于以往仅限于单一任务（如字幕生成或回答静态问题）的视频 AI 系统，Streamo 能够在播放过程中进行场景叙述、动作识别、事件字幕生成、时间查询定位以及对时间敏感问题的即时回答——全部实时完成。为了实现这些功能，作者构建了一个规模庞大的指令遵循数据集——Streamo‑Instruct‑465K——该数据集教会模型以统一的方式处理各种流媒体视频任务。

关键贡献

• Streamo model: 第一个通用大型语言模型（LLM），能够实时处理连续视频流，使用单一架构支持多种下游任务。
• Streamo‑Instruct‑465K: 一个包含 465 k 示例的指令遵循数据集，专为流式视频策划，涵盖多样的时间上下文和多任务监督。
• Unified training pipeline: 端到端训练，将视频编码器与 LLM 对齐使用指令数据集，消除任务特定头部或后处理的需求。
• Comprehensive benchmark suite: 在叙事、动作识别、事件字幕、时间定位和时敏问答等方面进行评估，展示了强大的时间推理和交互速度。
• Real‑time performance: 实现低延迟，适用于交互式应用（例如直播平台、AR/VR 助手）。

方法论

1. 数据收集与标注

• 从公共平台（例如直播、体育转播）收集原始视频流。
• 通过人工标注者和大语言模型辅助提示相结合的方式生成时间对齐的指令，得到 465 k（视频片段、指令、响应）三元组。
• 任务交叉进行：有的示例要求模型“描述刚刚发生的事情”，有的要求“找到球员得分的瞬间”，还有的要求“在事件发生后 2 秒内回答问题”。

2. 模型架构

• 视频编码器：轻量级、具备时间感知的 Transformer（例如 TimeSformer‑Lite），以滑动窗口方式处理输入帧，生成一系列 token 嵌入。
• 大语言模型主干：仅解码器的大语言模型（例如 LLaMA‑2‑7B），接收与文本提示拼接后的视频 token 流。
• 跨模态融合：简单的跨注意力层使 LLM 能关注最新的视频 token，同时保留其语言推理能力。

3. 训练流程

• 指令微调：模型在 Streamo‑Instruct‑465K 上使用标准的下一个 token 损失进行微调，将每个指令‑响应对视为监督序列。
• 课程调度：早期 epoch 侧重于短片段和简单字幕；后期 epoch 引入更长的时间依赖和多步问答。
• 延迟感知优化：梯度检查点和混合精度训练降低 GPU 内存占用，同时“热身缓冲区”确保模型在最少帧数后即可开始响应。

结果与发现

• 时序推理：Streamo 在需要理解事件顺序和持续时间的任务上始终优于离线模型。
• 响应性：在 A100 GPU 上的平均端到端延迟约为每帧 180 毫秒，满足实时流媒体的交互阈值。
• 泛化能力：在未见过的领域（例如野生动物直播、新闻广播）进行评估时，性能仅下降约 5 %，表明具有稳健的迁移能力。

实际影响

• 直播平台：可以在无需后期处理的情况下自动生成实时字幕、精彩片段和审核提示，提升可访问性和用户参与度。
• AR/VR 助手：实时场景解说和情境问答实现免手操作的远程协作、培训或娱乐指导。
• 监控与安全：即时检测异常行为并对事件进行时间定位，可比批处理视频分析更快触发警报。
• 内容创作：创作者在直播时可获得实时的剧情走向建议、自动精彩集锦或即时事实核查。
• 开发者工具包：统一的 API（视频输入，文本输出）简化了集成——开发者无需再将字幕、动作识别和问答模块拼接在一起。

限制与未来工作

• 硬件依赖：实时性能仍然依赖高端 GPU；在边缘部署需要模型压缩或蒸馏。
• 时间视野：滑动窗口方法将推理限制在过去几秒的上下文；更长范围的依赖（例如情节跟踪）仍具挑战。
• 数据集偏差：Streamo‑Instruct‑465K 主要来源于英文流媒体，这可能影响多语言或文化多样的场景。
• 未来方向：作者计划探索用于扩展上下文的层次记忆模块，集成多模态 grounding（音频、文本叠加），并发布用于设备端推理的轻量化变体。

作者

• Jiaer Xia
• Peixian Chen
• Mengdan Zhang
• Xing Sun
• Kaiyang Zhou

论文信息

• arXiv ID: 2512.21334v1
• 分类: cs.CV
• 出版时间: 2025年12月24日
• PDF: 下载 PDF