[Paper] 基于 LoRA 的参数高效 LLM 用于边缘恶意软件检测的持续学习

Source: arXiv - 2602.11655v1

概述

本文解决了一个紧迫的问题：如何在不超出边缘设备（如 IoT 网关、智能手机）有限的 CPU、内存和带宽预算的前提下，保持恶意软件检测器的最新状态。作者提出了一种 持续学习流水线，将轻量级 Transformer 模型与 LoRA（低秩适配） 适配器相结合，使每个设备能够从自身流量中本地学习，同时仅向中心协调器共享几千字节的模型更新。该系统能够在不断变化的威胁面前保持高准确率，并且能够在异构设备之间转移知识。

关键贡献

• 面向边缘的架构，将本地增量微调与通过 LoRA 适配器的全局知识聚合相结合。
• 参数高效的更新：LoRA 只增加 < 1 % 的额外参数（≈ 0.6–1.8 MB），适用于 DistilBERT、DistilGPT‑2 和 TinyT5 等模型，使 OTA 更新在受限硬件上可行。
• 跨域知识共享，无需传输原始流量数据，保护隐私并降低带宽需求。
• 实证验证：在两个真实世界的 IoT 安全数据集（Edge‑IIoTset、TON‑IoT）上，面对未知攻击时，相比孤立微调提升了 20–25 % 的准确率。
• 学习轮次的稳定性：尽管模型持续漂移，损失和 F1 分数仍保持稳定，展示了基于 LoRA 的聚合的鲁棒性。

方法论

1. Base Model Selection – 作者们从轻量级的 Transformer 变体（DistilBERT、DistilGPT‑2、TinyT5）开始，这些模型已经符合边缘设备的内存限制。
2. Local Adaptation – 每个边缘节点接收网络流量数据流，对其进行标记（例如通过轻量级 IDS 或人工标注），并仅在 LoRA 适配器（插入注意力/前馈层的低秩矩阵）上微调基础模型。原始权重保持冻结，因此训练快速且占用内存少。
3. Adapter Extraction & Aggregation – 本地训练一个 epoch 后，设备将其 LoRA 参数（几百 KB）上传至中心协调器。协调器对这些适配器进行平均或其他方式的合并（类似联邦平均），生成 全局 LoRA 模块。
4. Redistribution – 全局 LoRA 被广播回所有设备，设备只需用新的适配器替换本地适配器，即可瞬间获得其他地方学习到的知识。
5. Iterative Rounds – 该过程在多个轮次中重复，模拟新恶意软件家族和流量模式的出现。整个过程中既不交换原始数据包，也不交换模型权重，确保隐私不受侵犯。

结果与发现

• 跨域提升：当设备遇到仅在另一设备数据集中出现的恶意软件家族时，LoRA 共享模型的正确分类率远高于仅本地模型。
• 训练动态稳定：在 5‑6 轮持续学习过程中，损失曲线未出现发散，表明聚合的适配器不会导致灾难性遗忘。
• 资源可行性：在 Raspberry Pi 4（2 GB RAM）上，推理延迟保持在每批数据包 150 ms 以下，完整的 LoRA 更新下载在典型 1 Mbps 链路下耗时 < 2 秒。

实际影响

• 可部署的 IDS 在受限硬件上 – 开发者可以将小型 transformer + LoRA 组合嵌入现有边缘代理（例如 OpenWrt、Azure IoT Edge），并在无需完整模型重新下载的情况下保持最新。
• 隐私保护的威胁情报 – 组织可以在设备之间进行集体学习（类似联邦学习），而永不暴露原始网络日志，从而更容易遵守 GDPR 或 HIPAA 等合规要求。
• 对零日恶意软件的快速响应 – 一旦某个节点标记出新型模式，其 LoRA 更新即可传播，使整批设备立即获得防御提升。
• 成本效益的 OTA 更新 – 由于每轮仅传输几兆字节，已用于固件的 OTA 流程即可处理安全更新，几乎不增加带宽负担。
• 框架无关的集成 – LoRA 适配器兼容 Hugging Face Transformers，能够轻松接入现有基于 Python 的安全流水线，或转换为 ONNX/TFLite 供 C/C++ 边缘运行时使用。

限制与未来工作

• 数据集范围 – 实验仅限于两个物联网数据集；实际部署可能会遇到更为多样的协议和更高维度的特征空间。
• 聚合通道的安全性 – 论文假设协调者可信；未来工作应探讨经过认证、加密的聚合以及对受污染 LoRA 更新的鲁棒性。
• 模型异构性 – 所有设备共享相同的基础 Transformer；将该方法扩展到异构模型族（例如基于 CNN 的入侵检测系统）仍是一个未解的挑战。
• 长期漂移 – 虽然展示了短期稳定性，但数月持续学习对模型偏差和误报率的影响仍需进一步研究。

结论: 通过将小型 Transformer 与 LoRA 的参数高效适配器相结合，作者提供了一种实用、注重隐私且带宽占用低的边缘连续恶意软件检测方案——开发者今天即可开始尝试这种方法。

作者

• Christian Rondanini
• Barbara Carminati
• Elena Ferrari
• Niccolò Lardo
• Ashish Kundu

论文信息

• arXiv ID: 2602.11655v1
• 分类: cs.CR, cs.AI, cs.DC
• 发布: 2026年2月12日
• PDF: 下载 PDF