[论文] SecureCAI：面向网络安全运营的抗注入LLM助手

Source: arXiv - 2601.07835v1

概述

大型语言模型（LLM）正迅速被安全运营中心（SOC）采用，用于日志解析、钓鱼邮件分流和恶意软件分析等任务。然而，这些模型容易受到 提示注入攻击 的影响，攻击者在安全制品中隐藏恶意指令，以劫持模型行为。论文 SecureCAI: Injection‑Resilient LLM Assistants for Cybersecurity Operations 提出了一个防御框架，使基于 LLM 的助手足够稳健，能够应对真实世界的安全工作。

关键贡献

• SecureCAI 框架 将宪法 AI 与安全特定的防护栏相结合，创建一个明确禁止不安全行为的“宪法”。
• 自适应宪法演进：通过持续的红队反馈自动细化防护栏，以跟上新兴攻击技术的步伐。
• 直接偏好优化（DPO） 用于“忘记”不安全的响应模式，无需从头进行昂贵的重新训练。
• 全面评估 在真实的 SOC 工作负载上显示 94.7 % 的成功提示注入攻击降低，同时在良性任务上保持 95.1 % 的准确率。
• 宪法遵循评分 (> 0.92)，量化模型在持续对抗压力下遵守安全导向规则的忠实程度。

方法论

1. 安全意识宪法 – 作者首先编写一套高层策略（例如，“绝不泄露内部网络拓扑”，“绝不执行用户提供的代码片段”）。这些策略被编码为提示，LLM 必须在回答前查询这些提示。
2. 防护层 – 一个轻量级预处理器检查传入的 SOC 工件（日志、电子邮件、二进制文件）的可疑模式，并注入“防护提示”，强制模型先通过宪法进行推理。
3. 自适应进化 – 红队持续生成新的注入示例。系统记录失败，更新宪法，并重新应用 DPO，将模型偏好转向安全完成。
4. 直接偏好优化 – 与完整微调不同，DPO 使用成对损失直接奖励安全响应而非不安全响应，使适应步骤快速且数据高效。
5. 评估流水线 – 作者在两个方面基准测试 SecureCAI：
   • 攻击成功率 使用精心策划的提示注入攻击套件。
   • 任务准确率 在标准 SOC 数据集上（日志异常检测、钓鱼分类、恶意软件描述）。

结果与发现

数据表明，SecureCAI 显著削减了注入攻击，同时几乎不影响模型在日常安全分析中的实用性。高遵循得分表明，即使攻击者试图“绕过”防护措施，模型仍能始终如一地遵守安全宪法。

实际影响

• 可部署的 SOC 助手 – 团队可以将 SecureCAI 集成到现有的工单或 SIEM 平台，确信助手不会被诱导泄露内部数据或提供恶意代码。
• 降低对人工监督的需求 – 通过自动拒绝不安全的提示，分析人员花在二次检查 AI 输出的时间更少，加快事件响应。
• 快速适应新威胁 – 基于 DPO 的更新循环使安全团队在红队发现新注入向量后，能够在几分钟内部署全新的防护措施。
• 合规性与可审计性 – 该宪章可以与监管政策（如 GDPR、NIST CSF）保持一致，合规得分提供可量化的审计轨迹。
• 成本效益安全 – 由于 SecureCAI 避免了完整模型的再训练，组织能够在保持高安全标准的同时，保持运营成本低廉。

局限性与未来工作

• 守护栏的范围 – 当前宪章侧重于常见的 SOC 任务；若要扩展到更广泛的 IT 运维（例如 DevOps 流水线），需要额外的策略工程。
• 红队依赖 – 自适应演化依赖持续的对抗性测试；红队覆盖的空白可能导致盲点。
• 模型规模限制 – 实验在 13 B 参数的大模型上进行；扩展到更大的商业模型可能会引入延迟或需要更复杂的提示管理。
• 作者提出的未来方向 包括：
  1. 通过形式化验证自动化守护栏合成。
  2. 将 SecureCAI 与多模态输入（例如网络流量捕获）集成。
  3. 探索联邦 DPO 更新，以在不暴露原始安全数据的前提下共享安全改进。

作者

• Mohammed Himayath Ali
• Mohammed Aqib Abdullah
• Mohammed Mudassir Uddin
• Shahnawaz Alam

论文信息

• arXiv ID: 2601.07835v1
• 分类: cs.CR, cs.CV
• 出版日期: 2026年1月12日
• PDF: 下载 PDF