[Paper] StreamReady：学习在长流式视频中何时以及回答什么

Source: arXiv - 2603.08620v1

概述

论文 StreamReady 解决了流媒体视频 AI 中一个微妙但关键的挑战：模型不仅必须正确回答问题，还必须在 正确的时刻——即视觉证据出现的瞬间——给出答案。通过引入 Answer Readiness Score（ARS），该评分对提前猜测和延迟响应进行惩罚，作者提出了一种新的“就绪感知”公式，使模型行为与实时、时间敏感的应用（如现场体育分析、监控和交互式助理）保持一致。

关键贡献

• Answer Readiness Score (ARS)： 一种考虑时机的指标，将正确性与对过早或过迟回答的非对称惩罚相结合。
• StreamReady 框架： 一个轻量级、即插即用的模块，在发出答案前决定是否已经观察到足够的视觉证据，将时间推理直接整合到推理循环中。
• ProReady‑QA 基准： 新策划的长流视频数据集，精细标注了证据窗口和主动的多轮问题，涵盖局部（短期）和全局（长期）上下文。
• 广泛的实证验证： 在 ProReady‑QA 上达到业界领先性能，并在另外八个流式和离线长视频基准上实现一致提升，展示了方法的通用性。

方法论

1. 就绪感知目标：

   • 对于每个问题，已知真实证据窗口 ([t_s, t_e]) 。
   • ARS 损失在预测早于 (t_s) 时加入 提前惩罚，并在预测晚于 (t_e) 时加入 延后惩罚，惩罚随时间距离增大而增长。
   • 这种不对称设计反映了真实场景中的成本：过早的答案可能误导，而延迟的答案则错失行动机会。

2. 就绪模块（StreamReady）：

   • 可在任何视频编码器之上运行（例如 Transformer 或 3‑D CNN）。
   • 在每个时间步，基于累计的视觉特征和问题嵌入计算 就绪置信度。
   • 当置信度超过学习得到的阈值时，模型“锁定”答案；否则继续观看。
   • 该模块轻量（≈ 2 M 参数），并可与 ARS 损失一起端到端训练。

3. 训练与评估流程：

   • 在 ProReady‑QA 上使用 ARS 损失进行模型训练，同时保留标准 QA 损失以维持答案准确性。
   • 评估报告 传统 QA 准确率 与 ARS 调整后准确率，后者反映了及时性表现。

结果与发现

• 准时回答：与基线相比，StreamReady 将提前回答减少了 38 %，将延迟回答减少了 45 %。
• 泛化能力：即使在离线（非流式）长视频 QA 数据集上进行评估，准备度模块仍能提升性能，表明时间感知同样有益于静态视频理解。

实际意义

• 实时分析与警报: 体育解说机器人、安全监控或自动驾驶车辆感知等系统现在可以在相关事件发生的瞬间触发警报，最大限度地减少误报和漏检。
• 交互式助手: 能够在实时视频流中回答“刚刚发生了什么？”的语音控制代理，可以在不等待完整视频结束的情况下提供简洁、及时的响应。
• 资源效率: 一旦达到就绪状态即停止推理，StreamReady 可以减少不必要的帧处理，节省边缘部署中的计算资源和带宽。
• 即插即用的采用: 由于就绪模块位于现有编码器之上，开发者可以在几乎不修改代码和训练成本的情况下，将其改装到当前的视频问答流水线中。

限制与未来工作

• 证据窗口粒度: 当前的 ARS 假设单一连续的证据区间；需要多个不相连证据段的复杂查询可能需要更灵活的表述。
• 阈值敏感性: 学习得到的就绪阈值可能对数据集特定；在未见领域（例如不同帧率或延迟约束）中即时适配仍是一个未解决的挑战。
• 对超长流的可扩展性: 虽然 StreamReady 能处理几分钟的视频，但真正的连续流（数小时）可能需要层次化或内存高效的扩展。

作者

• Shehreen Azad
• Vibhav Vineet
• Yogesh Singh Rawat

论文信息

• arXiv ID: 2603.08620v1
• 分类: cs.CV
• 出版日期: 2026年3月9日
• PDF: Download PDF