[Paper] 跨任务基准测试与评估通用型与代码专用大语言模型

Source: arXiv - 2512.04673v1

概览

本文首次对 通用 与 代码专用 大语言模型（LLM）进行大规模、并排比较。通过在涵盖自然语言理解、数学推理和可信度的六个基准上测试八种最先进模型，并深入分析 CoNaLa 数据集上的代码解释性能，作者展示了针对编程微调的模型在非编码任务上也能出人意料地表现出色。

主要贡献

• 统一的跨任务基准，覆盖语言能力、数学推理和可信度，适用于通用和代码聚焦的 LLM。
• 对八个顶级模型的实证评估（5 个通用模型，3 个代码专用模型），在六套多样化测试套件以及专门的代码解释基准（CoNaLa）上进行。
• 深入分析 表明，代码优化模型（如 CodeLLaMA 系列）常常在推理和句法精度任务上超越或匹配通用模型。
• 开源评估框架 与可复现脚本，社区可以将其扩展到新模型或新任务。
• 实用建议，帮助在实际流水线中根据自然语言与代码相关工作负载的比例选择 LLM。

方法论

1. 模型选择 – 基于公开可用性和流行度，选取了五个广泛使用的通用 LLM（如 Mistral‑7B、Llama‑3‑8B）和三个代码中心的 LLM（CodeLLaMA‑7B、CodeLLaMA‑13B、StarCoder）。
2. 基准套件 – 汇总了六项任务：
   • 语言: 类 SuperGLUE 的问答与蕴含。
   • 数学: GSM‑8K 与 MATH 推理题。
   • 可信度: TruthfulQA 与有害内容检测。
   • 代码解释: CoNaLa（对给定代码片段的自然语言描述）。
3. 提示设计 – 为避免对任何模型的微调风格产生偏差，统一采用零样本提示。代码解释任务的提示为：“解释下面的 Python 代码片段的作用。”
4. 评估指标 – 分类任务使用 Accuracy/F1，推理任务使用 Exact Match，代码解释使用 BLEU/ROUGE，可信度使用校准置信度分数。
5. 统计分析 – 采用配对 bootstrap 检验，判断差异是否在 p < 0.05 水平显著。

结果与发现

• 代码专用 LLM 在推理任务上始终能够击败或匹配通用模型，这表明从代码数据中学到的句法纪律有助于更好的逻辑结构。
• 即使在纯语言基准上，性能差距也极小，说明代码聚焦的预训练并未牺牲语言能力。
• 可信度得分相当，意味着代码中心的训练不会削弱模型的对齐或安全特性。

实际意义

• 统一模型栈：团队可以考虑使用单一的代码优化 LLM（如 CodeLLaMA‑13B）来同时处理代码生成和下游 NLP 任务，简化部署并降低维护成本。
• IDE 助手推理提升：将代码专用 LLM 嵌入开发者工具，可提供更准确的代码解释、内联文档，甚至帮助回答非代码查询（如“这段代码实现了什么算法？”）。
• 成本效益的扩展：由于代码专用模型在相似参数规模下即可实现可比的 NLP 性能，组织可以选择更便宜的开源变体而不牺牲通用性。
• 安全流水线：可信度得分相近意味着在换用代码聚焦模型时，现有的内容审核和事实核查层可以保持不变。

局限性与未来工作

• 基准覆盖面：虽然六个任务提供了稳固的横截面，但法律推理、多语言理解或长文本生成等领域仍未测试。
• 零样本聚焦：本研究刻意回避了少样本提示；未来工作应探索代码专用模型在提供任务示例时的适应能力。
• 模型规模上限：所有评估模型均 ≤ 13 B 参数；更大规模的代码导向 LLM（如 70 B）在扩展趋势上仍未知。
• 数据集偏差：CoNaLa 主要包含 Python 代码片段；扩展到其他语言（JavaScript、Rust）可能会揭示不同的优势。

结论：如果你正在构建位于代码与自然语言交叉点的工具——如 AI 配对程序员、文档生成器或混合模态聊天机器人——代码专用 LLM 已被证明是 多功能、高性能的替代方案，且在语言或安全性能上几乎没有折衷。

作者

• Gunjan Das
• Paheli Bhattacharya
• Rishabh Gupta

论文信息

• arXiv ID: 2512.04673v1
• 分类: cs.SE
• 发布日期: 2025 年 12 月 4 日
• PDF: Download PDF