[Paper] 使用 $β$-VAE 在 NSL-KDD 上的无监督异常检测：基于 Latent Space 与 Reconstruction Error 的方法

Source: arXiv - 2602.19785v1

概述

本文研究了 β‑Variational Autoencoders（β‑VAEs） 如何用于在经典的 NSL‑KDD 网络流量基准上进行 无监督入侵检测。通过探查 潜在空间几何 和 重建误差，作者展示了经过良好调参的 β‑VAE 能够在没有任何标记攻击数据的情况下标记异常流量——这对于新威胁不断出现的现代 OT‑IT 环境来说是一个极具吸引力的前景。

关键贡献

• 双度量异常检测：引入两种互补的无监督评分方案——（1）在学习的潜在空间中的基于距离的分数，和（2）传统的重构误差分数。
• β‑VAE 在网络数据上的适配：展示了调整 β 超参数（控制重构保真度与潜在解耦之间的权衡）显著提升正常流量与恶意流量的可分离性。
• 在 NSL‑KDD 上的实证比较：提供了全面的实验评估，量化了两种指标之间的权衡（精确率、召回率、ROC‑AUC）。
• 对潜在表示的深入分析：可视化显示正常流量聚集紧密，而攻击流量分散，支持潜在距离是强异常指示器的假设。
• 开源实现：发布代码和训练好的模型，支持可复现性并为安全团队提供快速原型开发。

方法论

1. 数据预处理 – 首先对 NSL‑KDD 数据集的分类字段进行独热编码并归一化。训练过程中不使用攻击标签；仅使用“正常”子集来指导模型。
2. β‑VAE 架构 – 对称的编码器/解码器网络（全连接层）将 122 维输入映射到低维潜在向量（通常为 2‑10 维）。损失函数包括：
   • 重构项（二元交叉熵），迫使解码器重建原始数据包特征。
   • KL‑散度项乘以 β，鼓励更平滑、更可解耦的潜在空间。
3. 评分机制
   • 潜在空间距离：对每个测试样本，计算其潜在嵌入并测量与最近的训练嵌入（或正常嵌入的中心）的欧氏距离。距离越大表示异常。
   • 重构误差：计算每个样本的重构损失；误差高表明模型无法很好地表示该输入，从而标记为异常。
4. 阈值选择 – 在无监督设置下，阈值使用正常数据的验证划分（例如第 95 百分位）来设定，以控制误报率。
5. 评估 – 虽然训练是无监督的，作者随后将得分映射到 NSL‑KDD 中已知的攻击标签，以计算标准指标（AUC、F1）。

结果与发现

• 潜在空间距离在该数据集上始终优于重建误差，尤其是对产生远离正常簇的低频攻击类型。
• β 参数调节很关键：β ≈ 4 能获得最佳折衷；较低的 β 值会导致过拟合（潜在空间坍缩），而过高的 β 值则会降低重建质量。
• 可视化（t‑SNE 对潜在向量的降维）显示出一个紧凑的“正常”云，攻击则形成明显的离群点，验证了基于距离的评分直觉。

Practical Implications

• Plug‑and‑play anomaly detector：安全工程师可以部署仅在良性流量日志上训练的 β‑VAE；模型会自动标记新出现的恶意模式，无需昂贵的特征库更新。
• Lightweight inference：训练完成后，仅使用编码器即可计算潜在嵌入和距离分数，使实时检测在边缘设备或网络设备上成为可能。
• Explainability boost：距离分数可以可视化（例如潜在簇的热图），帮助 SOC 分析员优先处理真正“远离”正常行为的警报。
• Hybrid systems：该方法可与监督分类器结合——将潜在嵌入用作下游监督模型的特征，提升已知攻击的检测，同时保留对零日威胁的无监督覆盖。
• Domain transfer：由于 β‑VAEs 学习流量模式的通用表示，同一模型可以在其他数据集（例如 CIC‑IDS2017）上进行微调，只需极少的标注数据。

限制与未来工作

• 数据集偏差：NSL‑KDD 是一个较早的基准；真实世界的流量具有更高的维度、加密负载以及概念漂移，这可能影响模型的鲁棒性。
• 阈值敏感性：在生产环境中使用静态阈值可能会很脆弱；自适应或基于百分位的阈值仍需进一步研究。
• 距离计算的可扩展性：在潜在空间中的最近邻搜索在大规模训练集上成本高昂；近似方法（例如 FAISS）或学习式密度估计器可以缓解此问题。
• 可解释性深度：虽然距离提供了粗略的异常分数，但定位哪些特征触发了异常仍是一个未解决的挑战。
• 未来方向：作者建议探索 β‑VAE‑based 对比学习、整合 时间动态（例如循环 VAE），以及在实时网络流上进行测试，以评估漂移处理能力。

作者

• Dylan Baptiste
• Ramla Saddem
• Alexandre Philippot
• François Foyer

Paper Information

• arXiv ID: 2602.19785v1
• Categories: cs.LG, cs.NE, stat.ML
• Published: 2026年2月23日
• PDF: 下载 PDF