[Paper] 使用语义范围对企业代码仓库的 LLM 自动化定制

Source: arXiv - 2602.05780v1

（请提供您希望翻译的具体文本内容，我将为您翻译成简体中文，并保持原有的格式、Markdown 语法和技术术语不变。）

Overview

本文提出了一条实用的流水线，用于自动将大型语言模型（LLMs）定制到企业自己的代码库。通过提取 语义范围——即相关代码工件的逻辑分组——并将其输入到检索增强生成（Retrieval‑Augmented Generation，RAG）或监督微调（supervised fine‑tuning，FT）中，作者展示了即使是规模适中的模型，也能在私有仓库的代码补全任务上超越更大、更通用的 LLM。

关键贡献

• Semantic‑Scope Ingestion: 一种系统化的方法，将代码仓库解析为有意义的“作用域”（例如模块、API、领域特定模式），这些作用域构成训练数据的骨干。
• Dual Customization Strategies: 实现并比较两种广泛使用的适配技术——RAG（基于索引的检索 + 生成）和监督微调——在相同的作用域数据上进行实验。
• Enterprise‑Scale Evaluation: 在两个大型私有企业代码库上进行的真实场景实验，展示了对开发者的可衡量生产力提升。
• Benchmark Cross‑Check: 在公开的代码补全基准（如 HumanEval、MBPP）上进行验证，以确认该方法不会仅对单一代码库产生过拟合。
• Open‑Source Toolkit: 开源了数据摄取管道和数据对生成脚本，使其他团队能够以最小的工作量复现整个工作流。

方法论

1. 仓库解析 – 工具遍历整个代码树，提取语法实体（函数、类、接口），并按 语义作用域 进行分组：作用域可以是一个包、一个微服务，或任何由导入图和命名约定定义的逻辑边界。
2. 训练对生成 – 对于每个作用域，系统创建提示‑完成对。提示模拟开发者的部分代码片段（例如函数签名或注释），而完成则是同一作用域中下一个合乎逻辑的代码块。
3. 定制路径
   • RAG: 将作用域片段使用稠密向量存储（如 FAISS）进行索引。在推理时，模型首先检索最相关的作用域文档，然后在用户提示和检索到的上下文共同条件下生成完成内容。
   • 微调 (FT): 使用相同的提示‑完成对对基础大模型（如 LLaMA‑7B）进行少量轮次的进一步训练，使模型内化仓库特有的惯用写法。
4. 评估 – 作者在私有仓库的留出文件以及公共基准套件上运行自动代码补全测试（精确匹配、BLEU、功能正确性）。同时，真实开发者也进行了一项简短的可用性研究，以衡量感知的实用性。

Results & Findings

• 生产力提升： 在一次开发者调查中，使用定制模型的参与者报告称，修复自动生成代码片段的时间减少了 23 %。
• 模型规模与定制化的关系： 通过特定数据微调的 7 B 模型的表现优于未定制的 13 B 模型，凸显了该方法的成本效益。
• 泛化能力： 在公共基准上的性能略有提升，表明针对私有代码的定向微调并未导致严重的过拟合。

实际意义

• 更快的入职培训： 新员工可以依赖已经“了解”公司编码规范的模型，从而降低学习曲线。
• 降低基础设施成本： 团队可以使用中等规模模型实现高质量补全，避免在生产环境中运行大型 LLM 的费用。
• 安全与合规： 由于定制在本地进行，模型从不将专有代码发送至外部 API，组织能够保持数据机密性。
• 即插即用集成： RAG pipeline 可包装在现有 IDE 扩展（如 VS Code、JetBrains）之上，延迟极低（≈150 ms 检索 + 生成）。
• 持续改进： 随着代码库演进，摄取 pipeline 可每晚重新运行，使模型保持最新而无需完整再训练。

限制与未来工作

• 范围定义启发式: 当前方法依赖静态分析和命名约定；高度动态的语言或非传统的项目结构可能导致范围次优。
• 微调数据质量: 提示‑完成对是自动生成的，这可能引入噪声或模糊的示例，限制收益。
• 评估广度: 本研究聚焦于两个企业代码库；需要在更广泛的领域（例如嵌入式系统、数据科学笔记本）进行验证。
• 未来方向 作者提出包括：
  1. 通过图神经网络学习自适应的范围边界。
  2. 探索参数高效的适配方法（例如 LoRA、adapters），进一步降低计算成本。
  3. 融入运行时反馈（例如测试失败），实现生成与正确性之间的闭环。

作者

• Ulrich Finkler
• Irene Manotas
• Wei Zhang
• Geert Janssen
• Octavian Popescu
• Shyam Ramji

论文信息

• arXiv ID: 2602.05780v1
• 分类: cs.SE, cs.AI
• 出版日期: 2026年2月5日
• PDF: 下载 PDF