[Paper] LLMs 在代码漏洞分析中的概念验证

Source: arXiv - 2601.08691v1

（请提供需要翻译的正文内容，我才能为您进行简体中文翻译。）

Overview

本文研究了现代大型语言模型（LLM）是否能够用于自动化 C/C++ 代码的核心安全任务——发现漏洞、评估其严重性，甚至生成补丁。通过在两个公开的漏洞数据集上测试面向代码的和通用的开源 LLM，作者表明基于 LLM 的分析是可行的，并且通过微调可以超越零‑shot 提示的效果。

关键贡献

• 经验基准 对五个近期的 LLM 系列（代码专用和通用）在漏洞检测、严重性预测和自动修复方面进行评估。
• 微调与基于提示（零样本/少样本）策略的比较，展示了微调模型的一致优势。
• 对模型行为的洞察：代码专用模型在零/少样本的更难任务中表现突出，而通用模型在微调后仍具竞争力。
• 对现有代码生成指标的关键评估（CodeBLEU、CodeBERTScore、BLEU、ChrF），揭示它们无法捕捉真实修复质量。
• 开源概念验证流水线，可扩展至其他语言或安全数据集。

方法论

1. 数据集 – 作者使用了两个著名的 C/C++ 漏洞语料库：
   • Big‑Vul – 包含带有 CVE 注释的真实世界易受攻击函数的集合。
   • Vul‑Repair – 包含易受攻击代码片段及其人工编写补丁的配对。
2. 模型 – 选取了五个 LLM 系列，每个系列都有一个面向代码的开源变体和一个通用的开源变体（例如 CodeLlama 与 Llama‑2）。
3. 任务定义
   • 漏洞识别：二分类（易受攻击 vs. 干净）。
   • 严重性与访问复杂度预测：多分类，映射到 CVSS 字段。
   • 补丁生成：序列到序列生成修复后的代码片段。
4. 训练方式
   • 微调：在任务特定的训练划分上进行全模型更新。
   • 提示式：零样本（纯指令）和少样本（≤5 示例）提示，无权重更新。
5. 评估 – 对检测/严重性使用标准分类指标（准确率、F1），对修复质量使用多种代码生成指标（CodeBLEU、CodeBERTScore、BLEU、ChrF）。

结果与发现

• Fine‑tuning wins：在所有三个任务中，微调模型的准确率/F1 均高于任何零样本或少样本提示配置。
• Code‑specialized models excel in low‑resource prompting：当仅提供少量示例时，经过代码数据训练的模型优于通用模型，尤其在更复杂的补丁生成任务上。
• General‑purpose models close the gap after fine‑tuning：微调后，代码专用模型与通用模型之间的性能差距显著缩小，表明任务特定数据比预训练领域更为重要。
• Metric mismatch：BLEU/ChrF 的高分并不总是与补丁的功能正确性相关，这凸显当前自动指标不足以评估安全关键的代码修复。

实际意义

• 自动分流 – 开发团队可以将微调后的 LLM 集成到 CI 流水线中，提前标记高危的 C/C++ 漏洞，从而降低人工审查的工作量。
• 辅助补丁生成 – 安全工程师可以把模型提供的修复建议作为起点，加速漏洞修复，同时仍需人工验证。
• 成本效益高的安全工具 – 开源 LLM（无许可费用）可以针对组织的代码库进行定制，提供比商业静态分析套件更廉价的替代方案。
• 指标重新设计 – 研究呼吁工具开发者采用功能性或基于执行的验证方式（例如测试套件通过率），而不是仅仅依赖表层相似度得分。

限制与未来工作

• 范围仅限于 C/C++：结果可能无法直接迁移到其他语言（例如 JavaScript、Rust），除非有额外的数据。
• 数据集偏差：Big‑Vul 和 Vul‑Repair 都包含经过挑选的、相对较小的样本；实际代码库可能呈现更为多样的漏洞模式。
• 安全保证 – 生成的补丁并不保证安全；仍需进行彻底的测试和代码审查。
• 度量标准开发 – 作者呼吁建立新的评估框架，以捕捉功能正确性和安全影响，这是后续研究的方向。

底线：该概念验证表明，通过适度的微调，开源大语言模型可以成为对抗软件漏洞的实用盟友，为更智能、面向开发者的安全工具打开了大门。

作者

• Shaznin Sultana
• Sadia Afreen
• Nasir U. Eisty

论文信息

• arXiv ID: 2601.08691v1
• 分类: cs.SE
• 发表时间: 2026年1月13日
• PDF: 下载 PDF