[Paper] 面向自动安全驾驶指令：大规模视觉语言模型方法

Source: arXiv - 2511.23311v1

Overview

一项新研究探讨了如何将大规模视觉‑语言模型（LVLM）转变为“协同驾驶员”，同时监视前方道路和驾驶舱内部，并自动生成以安全为中心的驾驶指令。通过构建专用数据集并对现有 LVLM 进行微调，作者展示了这些模型可以超越通用图像描述，向实时、具备安全感知的驾驶辅助迈进。

Key Contributions

• 双视角数据集：收集并标注了同步的道路视角和驾驶员视角视频片段，涵盖安全相关事件（如使用手机、困倦、车道违规）。
• LVLM 适配流水线：展示了一种实用的微调工作流，将安全导向的语言 grounding 注入预训练的视觉‑语言模型。
• 基准与评估：定义了量化指标（指令准确率、危险检测召回率）和定性分析，用于评估 LVLM 在双视角任务上的表现。
• 错误分类：识别出常见的失效模式（细微手势、遮挡、多模态推理缺口），为后续模型改进提供指导。

Methodology

1. 数据收集 – 团队使用两台同步摄像头记录了数千段短驾驶场景：一台安装在挡风玻璃上（道路视角），另一台面向驾驶员（舱内视角）。每段视频都标注了简洁的安全指令（如“请把手机收起来”）以及对应的危险因素。
2. 模型骨干 – 他们基于公开的 LVLM，结合视觉编码器（如 CLIP‑ViT）和大型语言模型（如 LLaMA）。
3. 微调策略
   • 多模态融合：在送入语言解码器之前，将两路视频流的嵌入向量拼接。
   • 指令微调：在“问题 → 答案”和“图像 → 指令”对的混合数据上训练模型，强调安全相关的提示。
   • 时间处理：对帧级特征使用轻量级 Transformer，以捕获短时动态（如手伸向手机的动作）。
4. 评估 – 测量生成的指令与真实标签的匹配程度（精确匹配），并计算各危险类别的召回率。人工评审还对指令的实用性进行打分。

Results & Findings

• 微调后的 LVLM 将原始预训练模型的准确率提升了两倍以上。
• 对明显危险（如“手机放在大腿上”）的提升最为显著，而细微线索（如微微打哈欠）仍然落后。
• 人类评审认为模型的指令在 63 % 的情况下是“有帮助的”，而人类基准为 85 %。

Practical Implications

• 车载安全助理：汽车制造商可以嵌入双摄像头 LVLM 模块，提供实时语音提示，降低分心驾驶事故，无需昂贵的激光雷达或雷达系统。
• 车队监控：物流公司可在行车记录仪上部署该系统，标记风险驾驶行为以供事后审查，提升合规性和保险理赔效果。
• 监管合规工具：模型生成明确安全指令的能力符合多地区对驾驶员监控系统的最新法规要求。
• 可扩展平台：由于该方法基于通用 LVLM，能够以适度的数据收集成本迁移到其他领域（如建筑工地安全、驾驶舱监控）。

Limitations & Future Work

• 细微事件检测 – 模型仍难以捕捉低可见度线索，如短暂的手机瞥视或早期疲劳迹象。
• 时间范围 – 当前架构仅观察几秒钟的视频；对更长时段的推理（如预测车道漂移）尚未探索。
• 数据集偏差 – 收集的片段局限于特定车型和光照条件，可能影响对多样化真实车队的泛化能力。
• 可解释性 – 系统输出指令但未提供可视化证据（如边界框）说明为何标记危险，这可能削弱驾驶员的信任。

未来研究方向包括加入基于注意力的视觉定位、扩展数据集以覆盖夜间和恶劣天气场景，并将 LVLM 与传感器融合（如 CAN‑bus 数据）结合，以获得更丰富的上下文信息。

Human baseline derived from expert annotators who watched the same clips and wrote the optimal instruction.

Authors

• Haruki Sakajo
• Hiroshi Takato
• Hiroshi Tsutsui
• Komei Soda
• Hidetaka Kamigaito
• Taro Watanabe

Paper Information

• arXiv ID: 2511.23311v1
• Categories: cs.CV, cs.AI, cs.CL
• Published: November 28, 2025
• PDF: Download PDF