[Paper] 少即是多：衡量 LLM 参与对静态分析中 Chatbot 准确性的影响

Source: arXiv - 2604.21746v1

Overview

本文研究了在将自然语言问题翻译为 Joern 的静态分析查询语言 CPGQL 时，大型语言模型（LLM）应当承担多少“主导”角色。通过系统性地改变 LLM 参与的程度，作者展示了使用一种受模式约束的中间格式可以显著提升准确率——往往优于直接让模型生成最终查询，或让其运行迭代的、工具增强的“agent”循环。

关键贡献

• 三层架构比较 – 直接查询生成、基于 JSON 的模式约束中间表示，以及工具增强的代理式方法。
• 全面基准 – 20 项静态分析任务，分为低、 中、高复杂度，使用四个开源权重的 LLM（两类模型 × 两种规模）进行 2 × 2 实验设计，每个实验运行三次。
• 实证发现 – 结构化中间表示（方法 2）在大模型上比直接生成提升 15‑25 pp，并且在使用约 ⅛ 令牌预算的情况下胜过代理式方法。
• 可扩展性洞察 – 中间表示的收益随模型规模增长；小模型会遇到“模式合规”上限。
• 静态分析工具指导 – 表明将 LLM 输出约束为强类型格式并将确定性查询构建委托出去，可实现准确性与成本之间的最佳平衡。

方法论

1. 任务集 – 20 个真实的代码分析查询（例如 “find all functions that read from a network socket”），分为三个难度级别。
2. 大语言模型家族与规模 – 两个开源家族（例如 LLaMA 风格和 Mistral 风格），每个在“small”（≈7 B 参数）和“large”（≈30 B）检查点上进行评估。
3. 三种架构

   • 方法 1（直接） – 提示 LLM 直接从自然语言请求输出 CPGQL 字符串。

   • 方法 2（中间 JSON） – 提示 LLM 生成符合预定义模式的 JSON 对象，例如：

     {
       "entity": "function",
       "property": "calls",
       "target": "socket"
     }

     然后由确定性的后处理器将该 JSON 转换为有效的 CPGQL。

   • 方法 3（代理式） – 为 LLM 提供对 Joern 的访问权限，使其能够迭代查询、观察结果并完善答案（类似于 ReAct 或工具使用循环）。

4. 评估指标 – 结果匹配率：生成的查询返回的代码元素集合与真实查询完全相同的比例。
5. 重复实验 – 每种配置运行三次，以平滑随机方差；结果在运行之间进行聚合。

该设计将“委托程度”视为独立变量，从而能够清晰比较推理应在 LLM 内部进行的程度与在确定性代码中进行的程度。

结果与发现

• A2 比 A1 高出 15‑25 个百分点（在大模型上），这证实了使用类型化的中间表示可以显著降低幻觉和语法错误。
• A2 的表现可与 A3 相媲美，但只消耗约 1/8 的 token 预算，因此在大规模运行时成本更低。
• 复杂度很重要——收益在中等/高复杂度任务中最为明显，因为此时查询结构并非平凡。
• 模型规模的影响——大模型更能遵循 JSON 架构，因此 A2 的优势进一步扩大；小模型往往会生成格式错误的 JSON，限制了该方法的效果。

总体而言，研究表明“少即是多”：为 LLM 提供一个狭窄且定义明确的输出空间，比让其自由生成代码或执行多步骤工具使用循环能够获得更高的忠实度。

实际意义

• 工具构建者 – 在为静态分析引擎（Joern、CodeQL 等）添加自然语言前端时，采用经过模式验证的 JSON 或 protobuf 中间层，而不是直接生成代码。
• 成本节约 – 开发者可以使用远低于 API 令牌消耗的方式实现接近代理级的性能，从而降低 SaaS 产品的运营费用。
• 可靠性 – 结构化的中间层便于在调用确定性查询编译器之前添加静态检查（JSON 模式验证），减少运行时崩溃。
• 可扩展性 – 中间格式可以进行版本管理和扩展（例如添加 “confidence” 字段），而无需触及 LLM 提示逻辑。
• 团队工作流 – 安全导向的团队可以更容易审计 JSON 负载，而不是原始生成的查询，从而促进合规审查。

简而言之，这些发现提供了一套具体的配方，用于构建 LLM 辅助的代码分析助手，既准确又经济。

局限性与未来工作

• Schema Rigidity – JSON 模式必须为每个分析领域手动编写；扩展到新查询类型可能需要工程工作。
• Small‑Model Bottleneck – 对于参数量低于约 7 B 的模型，模式遵从性急剧下降，这表明需要更好的提示或微调。
• Benchmark Scope – 本研究在单一静态分析平台（Joern）上使用了 20 项任务。对其他工具（如 CodeQL、Semgrep）进行更广泛的评估将提升通用性。
• Agentic Baseline – 代理基线使用了简单的 ReAct 循环实现；更复杂的规划或记忆机制可能缩小差距。
• User Study – 本文侧重于自动化指标；未来工作可以评估开发者在使用各架构时的满意度和生产力。

解决这些问题可以完善“structured‑intermediate”范式，并将其应用于更广泛的面向开发者的 AI 助手。

作者

• Krishna Narasimhan

论文信息

• arXiv ID: 2604.21746v1
• 分类: cs.SE
• 发表日期: 2026年4月23日
• PDF: 下载 PDF