[Paper] 未见代码库领域的数据合成与基于代码图的训练

Source: arXiv - 2602.20799v1

（请提供需要翻译的正文内容，我将为您翻译成简体中文。）

概览

本文解决了开发者在采用全新软件框架时的一个实际痛点：驱动代码补全或生成工具的大型语言模型（LLM）在预训练时未见过该框架的 API 时往往会出现困难。作者提出了 UCD‑Training，这是一种两阶段流水线，能够自动从未见代码库的原始源代码中合成“使用感知”的训练数据，然后对代码 LLM 进行微调，使其能够推理 API 之间的关系并在不产生幻觉的情况下正确调用。

关键贡献

• 代码图构建: 将未见过的代码库解析为丰富的文件级依赖图，捕获 import 关系、类层次结构和 API 签名。
• 保持依赖的持续预训练 (CPT): 在适应新领域的同时，保持模型对代码库结构依赖的知识。
• 基于图的监督微调 (SFT)，包括三类新颖的合成数据族：
  1. 单跳关系推理 – 需要模型识别直接 API 关系的问题（例如，“哪个函数返回 Tensor？”）。
  2. 组合式 API 推理 – 多步骤任务，迫使模型正确链式调用多个 API。
  3. 代码库利用 – 真实使用场景（例如，“使用框架的 Dataset 类编写数据加载器”）。
• 显式推理轨迹: 每个合成示例都包含逐步推理过程，教会模型“思考出声”，降低幻觉。
• UnseenCodeBench: 一个新基准，评估在真正未见框架上的代码生成，涵盖多个领域（机器学习库、Web 框架等）。
• 全面的实证验证: 在 6 个多样化代码库上显示出相较于原始大语言模型和检索增强生成 (RAG) 基线的一致提升。

方法论

1. 解析并构建代码图

   • 将原始源码树输入静态分析器，提取模块、类、函数和导入语句。
   • 节点 = 代码实体；边 = “依赖于”（import）、“继承自”或“内部调用”。
   • 图以轻量级 JSON 格式存储，可在数据合成期间遍历。

2. 阶段 1 – 保持依赖的持续预训练（CPT）

   • 在预训练的代码大模型（例如 CodeLlama‑7B）的基础上，进一步在 文件级 代码片段及其依赖上下文（例如 “文件 A 导入 B；这里是 A 的内容”）上进行训练。
   • 此步骤使模型的 token 嵌入与新代码库的命名约定对齐，同时保留全局结构。

3. 阶段 2 – 基于图的监督微调（SFT）

   • 使用代码图，自动生成三类合成语料库：
     • 单跳 – 随机挑选一条边（例如 ClassX → methodY），让模型在给定源节点的情况下检索目标节点。
     • 组合 – 在图中走一条长度为 2‑3 的路径，然后让模型生成遵循该路径的代码片段，并插入解释每一步的 推理轨迹。
     • 利用 – 抽样一个真实的 “任务”（例如 “使用库的 DataLoader 加载 CSV”），合成完整解决方案，同样附带显式的思考链。
   • 对这些示例使用标准交叉熵损失进行微调，鼓励模型同时输出代码及其对应的理由。

4. 在 UnseenCodeBench 上的评估

   • 基准由开发者首次接触框架时可能编写的提示组成。
   • 指标：精确匹配、功能正确性（通过单元测试）以及幻觉率（通过静态分析器标记未定义符号来衡量）。

结果与发现

• 仅使用 CPT 已经将幻觉率降低了一半，证实了保留依赖信息的重要性。
• 结合推理轨迹的 SFT 在功能正确性上带来了最大的提升，尤其是在需要多步推理的组合任务中。
• 在六个未见过的框架（深度学习库、Web 路由器、数据校验工具等）上，平均相较基线模型提升 +17 pp exact‑match，并且 ‑25 pp hallucination。

实际影响

• 更快的入职培训：公司可以将其专有 SDK 或内部库输入 UCD‑Training，立即获得能够理解 API 表面的代码大模型，从而降低新员工的学习曲线。
• 减少调试时间：更低的幻觉率意味着开发者花更少时间追踪模型生成的“幽灵”导入或无意义代码片段。
• 即插即用的 CI/CD：该流水线全自动——代码一旦提交到仓库，CI 任务即可重建代码图、合成数据并每晚微调模型，使助手始终与不断演进的 API 保持同步。
• 更佳的 RAG 替代方案：与其依赖脆弱的文档片段检索，模型内部化了关系，提供更流畅的自动补全并减少延迟峰值。
• 开源潜力：作者发布了图构建脚本和 UnseenCodeBench 基准，使社区能够将该方法应用于嵌入式固件或科学计算库等细分领域。

限制与未来工作

• 合成偏差：生成的推理轨迹遵循确定性模式；真实开发者的推理方式可能不同，这可能限制对分布外提示的泛化能力。
• 可扩展性：为非常大的单体仓库（数十万文件）构建并存储完整的代码图会占用大量内存；当前实现的上限约为 ~10 k 文件。
• 评估范围：虽然通过单元测试衡量功能正确性，但基准测试尚未覆盖性能关键代码（例如 GPU 内核），这些代码对细微错误非常敏感。
• 作者提出的未来方向 包括：
  1. 融入动态执行轨迹（例如运行时调用图），以丰富合成数据。
  2. 探索多模态输入，如设计文档或 UML 图。
  3. 将框架扩展为支持随代码库演进的增量微调。

作者

• Guangsheng Ou
• Qiming Zhang
• Sirong Chen
• Anji Li
• Dong Xu
• Tiancheng Luo
• Dekun Dai
• Cuiyun Gao
• Long Wang
• Jun Zhou
• Mingwei Liu
• Zibin Zheng

论文信息

• arXiv ID: 2602.20799v1
• 分类: cs.SE
• 出版日期: 2026年2月24日
• PDF: 下载 PDF