[Paper] RedSage：网络安全通用型 LLM

发布: 1天前 (2026年1月30日 GMT+8 02:59)

7 min read

原文: arXiv

Source: arXiv - 2601.22159v1

请提供您希望翻译的具体文本内容，我将按照要求保留源链接并翻译其余部分。

概述

本文介绍了 RedSage，一个开源的大型语言模型（LLM），可作为专注于网络安全的助手在本地运行。通过将海量、经过策划的网络安全文本与新颖的“代理增强”流水线相结合，作者展示了模型既可以成为领域专家，又能成为强大的通用 LLM——无需依赖可能泄露敏感数据的专有 API。

大规模领域特定语料库：收集了 118 B 标记，来源于 28.6 K 篇高质量网络安全文档（框架、攻击技术、工具等）。
代理增强流水线：模拟专家安全分析师的工作流程，自动生成 266 K 条多轮、面向网络安全的对话样本，用于监督式微调。
RedSage 模型：一个拥有 8 B 参数的开源大语言模型，融合了精选的预训练数据和增强的微调数据，在安全任务上表现出色，同时可在单张 GPU 上运行。
RedSage‑Bench：全新基准套件（30 K 道选择题 + 240 道开放式问答），覆盖网络安全的知识、技能和工具使用，并在现有安全及通用 LLM 基准上进行评估。
开放发布：所有模型权重、数据集和训练代码均公开发布，支持可复现性和社区扩展。

Data Curation – 团队抓取公共网络，进行大规模过滤（例如语言检测、相关性分类器），并手动审查来源，以汇集干净且多样的网络安全文本集合。
Continual Pre‑training – 从一个基础开源大语言模型出发，他们在 11.8 B token 的语料库上进行额外的预训练，使模型能够内化安全术语和概念。
Agentic Augmentation – 他们构建了一个“虚拟分析师”，遵循脚本化的安全工作流（威胁狩猎、事件响应、工具配置）。该分析师与部分训练的模型交互，生成逼真的多轮对话，模拟真实的分析师‑助手交流。这些对话被用作监督微调数据。
Fine‑tuning – 模型在代理对话与通用指令数据（如 Alpaca、OpenChat）的混合上进行微调，以保持广泛的语言能力，同时提升安全专长。
Evaluation – RedSage 在 RedSage‑Bench 以及已建立的安全基准（CTI‑Bench、CyberMetric、SECURE）上进行测试，同时在标准 LLM 排行榜上评估其领域和通用性能。

网络安全基准：RedSage 在 CTI‑Bench、CyberMetric 和 SECURE 上的平均得分比基线开源模型高 +3.2 – +5.6 分。
通用 LLM 任务：在 Open LLM Leaderboard 上，RedSage 相比相同基线提升 +4.8 – +5.1 分，表明领域特定训练不会产生负面影响，甚至可以提升通用推理能力。
消融研究：去除 agentic augmentation 会导致安全任务性能下降约 2 分，验证了其价值。
效率：8 B 参数模型在单个 RTX 4090（≈12 GB VRAM）上运行流畅，推理延迟适合交互式助手。