[Paper] 让企业安全的ML民主化：自给自足的攻击检测框架

Source: arXiv - 2512.08802v1

概述

本文提出了一种两阶段、混合式威胁检测框架，将宽松的 YARA 规则与机器学习（ML）分类器相结合，旨在让任何企业都能负担得起先进的 ML 驱动安全。系统通过自动生成合成训练数据并持续从分析员反馈中学习，使检测规则保持新鲜，同时显著降低误报。

主要贡献

• 混合检测流水线：先进行粗粒度的 YARA 过滤，再使用细粒度的 ML 分类器，以在召回率和精确率之间取得平衡。
• 使用 Simula 的合成数据生成：让分析员无需大型标注安全数据集即可创建高质量的训练集。
• 主动学习反馈回路：实时的分析员判定会反馈给模型，防止规则衰减并持续提升精确率。
• 生产规模验证：已在数万台终端上部署，日处理高达 250 B 条原始事件，仅产生少量工单。
• 低维护设计：所需的数据科学专长极少；安全团队充当“教师”，而非模型开发者。

方法论

1. 阶段 1 – 宽松的 YARA 规则

   • 分析员编写宽容的 YARA 签名，目标是 高召回率（尽可能捕获潜在威胁）。
   • 这些规则在海量日志流上充当快速、轻量的过滤器，显著降低数据量。

2. 阶段 2 – ML 分类器

   • 经过过滤的事件作为监督分类器（如梯度提升树）的输入。
   • 训练数据由 Simula 生成，这是一种无种子合成生成器，依据分析员提供的“种子”行为模拟真实攻击模式。
   • 分类器学习区分真正威胁与 YARA 阶段产生的噪声。

3. 主动学习回路

   • 当分析员处理工单时，其决定（恶意 / 良性）会自动记录。
   • 这些标签定期回馈用于重新训练分类器，使模型能够适应新出现的攻击手法并纠正 YARA 规则的漂移。

4. 部署架构

   • 流处理（如 Apache Flink/Kafka）并行应用 YARA 规则，处理每日 250 B 事件。
   • ML 推理服务运行在可伸缩的 GPU/CPU 集群上，近实时为缩减后的事件打分。
   • 工单集成仅将高置信度警报推送至 SOC。

结果与发现

• 精确率随时间提升：主动学习回路使精确率从第 1 周的约 70 %提升至三个月后的 >85 %。
• 误报大幅削减：ML 阶段消除了 >99.9 % 的 YARA 噪声。
• 可扩展性：流水线在全负载 250 B 事件下保持亚秒级批处理延迟。

实际意义

• 成本效益的 SOC 扩容：企业可在不增加数据科学人员的情况下大幅削减分析员工作量。
• 快速上手：安全团队只需编写简单的 YARA 签名，系统负责模型训练的繁重工作。
• 对新威胁的适应性：攻击者调整战术时，分析员的判定会即时反馈，保持检测最新，无需手动重写规则。
• 供应商无关的集成：框架兼容现有 SIEM、日志管道和工单工具，可作为传统环境的即插即用升级。
• 合规与可审计性：合成数据生成过程完全可复现，为监管审查提供可追溯的训练制品。

局限性与未来工作

• 合成数据的真实性：虽然 Simula 能生成高质量样本，但与生成模式显著偏离的极端攻击仍可能逃脱检测。
• 模型漂移检测：当前系统依赖分析员反馈；加入自动漂移警报可进一步降低模型更新的延迟。
• 可解释性：对许多 SOC 分析员而言，ML 分类器仍是黑箱；集成可解释模型或事后解释方法将提升信任度。
• 跨域泛化：实验仅限于 Windows 终端日志；将方法扩展至云原生工作负载和网络遥测是后续方向。

结论：通过将宽松的 YARA 规则与基于合成数据和主动学习的自我维持 ML 引擎相结合，作者展示了一条务实的路径，使先进的威胁检测能够在任何规模的企业中实现民主化。

作者

• Sadegh Momeni
• Ge Zhang
• Birkett Huber
• Hamza Harkous
• Sam Lipton
• Benoit Seguin
• Yanis Pavlidis

论文信息

• arXiv ID: 2512.08802v1
• 分类: cs.CR, cs.AI
• 发布日期: 2025 年 12 月 9 日
• PDF: Download PDF