[Paper] 基于眼部的高效情感识别：利用神经架构搜索的Time-to-First-Spike编码脉冲神经网络

Source: arXiv - 2512.02459v1

Overview

本文提出了 TNAS‑ER，一种神经架构搜索（NAS）框架，能够自动设计用于眼部情感识别的超高效脉冲神经网络（SNN）。通过将首脉冲时序（TTFS）编码方案与巧妙的 ANN 辅助搜索相结合，作者在保持低延迟和低能耗的前提下，实现了业界领先的准确率，足以在体积小、靠电池供电的眼镜设备上部署。

Key Contributions

• 首个针对 TTFS 编码 SNN 的 NAS – 为单脉冲神经元的独特约束量身定制搜索空间和评估指标。
• ANN 辅助搜索策略 – 使用与 TTFS SNN 共享同一恒等映射的 ReLU 基础 ANN，在进化过程中提供快速、可微分的反馈。
• 双目标适应度 – 同时优化加权和未加权平均召回率，直接针对情感数据集的类别不平衡问题。
• 真实硬件验证 – 将发现的架构部署在神经形态硬件上，报告 48 ms 推理延迟和每样本仅 0.05 J 能耗。
• 全面实验 – 表明 TNAS‑ER 在多个眼动情感基准上优于手工构建的 TTFS SNN 和传统 ANN 基线。

Methodology

1. 搜索空间设计 – 作者定义了一组兼容 TTFS 编码的构建块（卷积层、池化层、脉冲神经元参数），确保每个神经元最多发射一次脉冲。
2. ANN‑SNN 代理 – 对每个候选 TTFS SNN，实例化一个具有 ReLU 激活的平行 ANN。由于 ANN 与 SNN 共享相同的权重矩阵和恒等映射，其训练损失可以快速反向传播，从而为 SNN 的潜在性能提供代理评分。
3. 进化式 NAS – 采用进化算法（变异、交叉、选择）在空间中搜索。每个个体的适应度是两种召回率的加权和，鼓励整体准确率和类别平衡。
4. TTFS 训练 – 搜索收敛后，使用专门的 TTFS 损失从头训练最佳架构，该损失惩罚迟发的脉冲，强化单脉冲行为。
5. 硬件映射 – 将最终网络量化并映射到原生支持事件驱动计算的神经形态加速器上，从而能够测量真实的延迟和能耗。

Results & Findings

NAS 找到的架构不仅将识别性能提升约 6–8 %（相较于最强基线），还将推理时间减半，能耗降低超过三倍。值得注意的是，TTFS SNN 的单脉冲特性使得大多数神经元在前向传播时保持空闲，这正是效率大幅提升的根本原因。

Practical Implications

• 可穿戴情感感知接口 – 智能眼镜或 AR 头显现在可以在本地运行情感检测，免除云端传输，保护用户隐私。
• 电池寿命延长 – 每次推理仅消耗 0.05 J，等效于在典型 300 mAh 手表级电池上实现数周的连续运行。
• 可扩展至其他模态 – ANN 辅助 NAS 流程与模态无关，开发者可将其轻松迁移到语音、EEG 或多模态情感数据集。
• 边缘优先 AI 工具链 – 通过将搜索框架开源，团队能够自动生成适配低功耗边缘设备的硬件友好 SNN，显著缩短工程周期。
• 神经形态采纳 – 展示了神经形态芯片的高影响力实际案例，鼓励硬件厂商提供更完善的 SDK 与开发工具。

Limitations & Future Work

• 数据集范围 – 实验仅在受控实验室环境下采集的眼动数据集上进行，尚需在野外噪声环境中验证性能。
• 搜索成本 – 虽然 ANN 代理加速了评估，但进化搜索仍需数个 GPU 天的计算，对小团队可能构成门槛。
• 硬件特异性 – 能耗和延迟数据基于特定神经形态加速器，迁移至其他平台（如 Loihi、BrainChip）仍需进一步基准测试。
• 可解释性 – 单脉冲动态相较于传统深度网络更难解释，未来工作可结合显著性图或脉冲时序分析以辅助调试。

作者计划将 TNAS‑ER 拓展至多模态情感识别（融合眼部、面部和语音线索），并探索基于梯度的 NAS 方法以进一步降低搜索时间。

Authors

• Qianhui Liu
• Jing Yang
• Miao Yu
• Trevor E. Carlson
• Gang Pan
• Haizhou Li
• Zhumin Chen

Paper Information

• arXiv ID: 2512.02459v1
• Categories: cs.NE
• Published: December 2, 2025
• PDF: Download PDF