[Paper] 轻量级实时低光增强网络用于嵌入式汽车视觉系统

发布: 2天前 (2025年12月3日 GMT+8 01:44)

7 min read

原文: arXiv

Source: arXiv - 2512.02965v1

概览

本文提出了 UltraFast‑LieNET，一种体积极小却功能强大的神经网络，能够在嵌入式汽车视觉硬件上实时提升低光图像的亮度。通过将模型压缩至仅几百个参数，同时在图像质量上超越最先进（SOTA）方法，作者解决了夜间驾驶辅助和自动驾驶系统中的关键瓶颈。

动态移位卷积 (DSConv)： 一种新颖的卷积核，仅学习 12 个参数，并利用空间“移位”高效捕获特征。
多尺度移位残差块 (MSRB)： 将不同移位距离的 DSConv 层堆叠，显著扩大感受野而不增加参数。
超轻量化架构： 整个网络可配置至 36 个可学习参数（最小实用版本），性能最佳的变体仅使用 180 个参数。
梯度感知多层损失： 兼顾像素级保真、边缘保持和梯度一致性的损失函数，稳定了如此小模型的训练。
真实场景验证： 在 LOLI‑Street 数据集以及三个公开低光基准上进行的大量实验表明，PSNR 提升 4.6 dB 超过之前最好的轻量方法，同时在典型汽车 SoC 上实现实时帧率。

移位卷积基础 – 与学习完整的 3×3（或更大）卷积核不同，DSConv 学习一小组标量权重，这些权重在对输入特征图进行固定偏移（例如左移 1、上移 2）后再应用。移位操作无需参数，可实现为简单的内存地址偏移，在硬件上极其快速。
动态移位 – 移位距离本身并非固定；一个轻量门控模块在训练期间预测每层的最佳偏移，使网络能够根据图像内容自适应感受野。
MSRB 构建 – 将不同移位幅度的多个 DSConv 并行放置，输出相加并加入残差连接。该设计在保持极低参数量的同时模拟了多尺度滤波器组。
网络堆叠 – UltraFast‑LieNET 堆叠少量 MSRB（通常 3–5 个），随后接一个 1×1 卷积，将处理后的特征映射回 RGB 空间。
训练目标 – 损失函数结合：
- L1 像素损失 用于整体亮度精度，
- 边缘感知损失（使用 Sobel 梯度）保持结构细节，
- 多层梯度损失 在多个尺度上惩罚差异，鼓励微小模型同时学习粗糙光照和细腻纹理。

所有操作均为全卷积，因此模型可以处理任意分辨率的图像，无需额外填充或缩放。

数据集	PSNR (dB)	参数	FPS（在典型汽车 MCU 上）
LOLI‑Street（提出）	26.51	180	~120 fps
ExDARK	24.8	180	~115 fps
Dark Zurich	23.9	180	~110 fps
SID (Sony)	25.2	180	~118 fps

UltraFast‑LieNET 超越之前的轻量冠军（如 LLNet‑Lite），在 PSNR 上提升 4.6 dB，而参数量仅为其约 1/10。
视觉检查显示恢复了颜色并保留了锐利边缘，几乎没有光晕伪影——这是激进低光增强常见的问题。
消融实验证实，多尺度移位设计和梯度感知损失均为关键；去除任意一项均会导致 PSNR 下降 >1 dB。

嵌入式汽车摄像头： 该模型轻松符合典型 ADAS/ADAS 级微控制器（如 NXP i.MX、Renesas R‑Car）的内存预算，并能在 720p 流上实现 >30 fps，支持夜间车道检测、行人识别和交通标志识别，无需专用 GPU。
能效优势： 参数更少意味着 DRAM 带宽降低，功耗下降——对电动汽车平台尤为关键。
边缘 AI 流水线： UltraFast‑LieNET 可作为任何下游感知模型（目标检测、语义分割）之前的预处理块，在低光条件下提升其准确率，且整体系统延迟往往因增强步骤比重新训练下游模型更便宜而降低。
快速原型化： 代码库（PyTorch + ONNX 导出）和极小模型体积使其易于转换为 TensorRT、TVM 或厂商专属推理运行时，加速集成到现有汽车软件栈。