[Paper] RadarGen：从摄像头生成汽车雷达点云

Source: arXiv - 2512.17897v1

概述

RadarGen 引入了一种基于扩散的生成模型，能够将多摄像头图像转换为逼真的汽车雷达点云。通过在视觉域和雷达域之间搭建桥梁，这项工作为以低成本、可扩展的方式生成雷达数据以用于自动驾驶系统的训练和测试开辟了新路径。

关键贡献

• 跨模态扩散模型：将图像潜在扩散适配用于直接从摄像头流合成雷达 BEV（鸟瞰）地图。
• 丰富的雷达表示：生成鸟瞰视角（BEV）张量，编码空间布局、雷达截面（RCS）和多普勒速度。
• 基础模型条件化：利用预训练的深度、语义和运动估计器，引导扩散过程产生物理上合理的雷达回波。
• 轻量级点云恢复：通过快速后处理步骤，将生成的 BEV 地图转换回三维雷达点云。
• 可扩展的数据管线：兼容任何多摄像头数据集，实现大规模多模态仿真，无需真实雷达硬件。

方法论

1. 输入预处理 – 多视角摄像头图像通过现成模型预测每像素深度、语义类别和光流（运动）。这些线索被提升到统一的 BEV 网格。
2. 扩散生成 – 最初为图像设计的潜在扩散模型被重新用于雷达 BEV 张量。模型在 BEV 对齐的视觉线索条件下，对随机潜在进行迭代去噪，生成包含以下内容的地图：
   • 占用（雷达回波出现的位置）
   • RCS 值（反射强度）
   • 多普勒（相对速度）。
3. 点云重建 – 对最终的 BEV 张量进行采样，提取单个雷达点（x, y, z, RCS, 速度），并投影回车辆中心的三维空间。重建步骤刻意保持轻量，以使管线足够快用于数据增强循环。

结果与发现

• 分布保真度 – 统计测试表明，合成雷达点云在各种驾驶场景下与真实雷达分布匹配（例如距离‑强度曲线、速度直方图）。
• 感知差距缩小 – 在 RadarGen 增强数据上训练的目标检测器在真实雷达测试集上的平均精度提升最高可达 12 %，相较仅使用摄像头数据训练的模型。
• 定性真实感 – 可视化结果显示，生成的雷达回波遵循遮挡规律，出现在反射表面（如金属车辆、标志牌），并对运动物体呈现真实的多普勒模式。
• 可扩展性 – 该系统在单个 GPU 上每小时可生成数千帧雷达数据，适用于大规模仿真流水线。

实际意义

• Data augmentation for ADAS – 开发者可以使用合成雷达丰富现有仅摄像头的数据集，提高多模态感知系统的鲁棒性，而无需昂贵的雷达传感器部署。
• Simulation‑first development – 自动驾驶车辆仿真器现在能够生成与 LiDAR 和摄像头同步的连贯雷达数据流，从而实现传感器融合算法的端到端测试。
• Domain adaptation – 合成雷达可用于对模型进行预训练，随后在少量真实雷达记录上微调，加速雷达功能的上线。
• Cost‑effective benchmarking – 企业可以在从现有视频数据集生成的多种天气、光照和交通条件下，对依赖雷达的算法进行基准测试，从而减少大量现场数据采集的需求。

局限性与未来工作

• 物理保真度权衡 – 虽然统计特性与真实数据相匹配，但模型并未模拟细粒度的波动现象（例如多路径、斑点），这些现象可能影响高精度雷达算法。
• 对预训练线索的依赖 – 深度/语义/运动输入的质量直接影响雷达的真实感；这些上游模型的错误会传播到雷达模拟中。
• 场景覆盖度 – 稀有极端情况（例如极端天气、特殊车辆类型）在训练相机数据的分布中出现不足，因此在扩散模型中表现不足。
• 未来方向 – 将扩散框架扩展为联合生成雷达和激光雷达，结合基于物理的雷达模拟器进行混合训练，并探索自监督条件信号以降低对外部基础模型的依赖。

作者

• Tomer Borreda
• Fangqiang Ding
• Sanja Fidler
• Shengyu Huang
• Or Litany

论文信息

• arXiv ID: 2512.17897v1
• 分类: cs.CV, cs.AI, cs.LG, cs.RO
• 发表时间: 2025年12月19日
• PDF: 下载 PDF