[Paper] 更深入思考，别忽视你的选项：重新审视 Issue-Commit 链接与 LLM 辅助检索

Source: arXiv - 2605.00447v1

概述

将问题报告链接到修复它们的提交是软件可追溯性的基石，但手动完成这一工作既繁琐又容易出错。本文重新审视了一系列经典和现代的问题‑提交链接技术，评估它们在检索和排序候选提交方面的表现，并探讨重量级的大型语言模型（LLM）是否相较于更轻量、传统的方法能够带来可衡量的提升。

关键贡献

• 对五个成熟的链接流水线（BTLink、EasyLink、FRLink、RCLinker、Hybrid‑Linker）在同一数据集上的全面基准测试。
• 系统比较检索后端：稀疏（BM25、BM25L） vs. 密集（SBERT‑Semantic Search、ANNOY、LSH、HNSW）。
• 重排序研究，将传统机器学习模型（逻辑回归、梯度提升树）和跨编码器与多种大语言模型（ChatGPT、Qwen、Gemma、Llama）进行对比。
• 证据表明，密集检索 + 稀疏混合能够在保持候选集规模小的同时实现最高召回率。
• 发现经典机器学习重排序器在精度上优于大语言模型，挑战了该任务中“更大即更好”的假设。

方法论

1. 数据准备 – 作者从开源项目中收集了大量的 issue‑commit 对， 并将其划分为训练、验证和测试集。
2. 检索阶段 – 将每个 issue 作为查询，检索出候选 commit 的短列表。
   • 稀疏 方法依赖词频统计（BM25/BM25L）。
   • 密集 方法将 issue 和 commit 嵌入到向量空间（SBERT），并使用 ANNOY、LSH 或 HNSW 进行近似最近邻搜索。
3. 重排序阶段 – 将短列表输入第二个模型，对每个候选进行打分：
   • 传统机器学习：使用词汇重叠、时间距离、文件路径相似度等特征，输入逻辑回归或 XGBoost。
   • Cross‑encoder：一种 BERT‑style 模型，联合编码 issue 与 commit 文本。
   • 基于 LLM：将提示发送给 ChatGPT、Qwen、Gemma 和 Llama，模型返回相关性分数或二元决策。
4. 评估指标 – 报告每个流水线的 Recall@k（前 k 条中出现真实链接的比例）、MAP 和 precision@1。
5. 效率测量 – 记录墙钟时间和内存消耗，以评估可扩展性。

结果与发现

• 稠密检索 (SBERT‑HNSW) 在召回率上始终优于稀疏的 BM25，同时显著缩小了候选池规模。
• 混合检索（两者的 top‑k 并集）获得最高召回率，表明两种方法捕获了互补的信号。

• 传统机器学习重排序器 在效果和延迟上均优于大语言模型。
• 虽然 cross‑encoder 比原始检索更好，但仍落后于轻量模型。
• 大语言模型虽体积庞大，却几乎没有带来价值，并导致 10‑100 倍的速度下降。

总体而言，最佳的端到端流水线是 SBERT‑HNSW 检索 + logistic‑regression 重排序，实现了 0.71 的 MAP 并保持亚秒级响应时间——非常适合 CI/CD 集成。

Practical Implications

• CI流水线工具 – 团队可以将密集检索 + 轻量级机器学习重排序器嵌入自动化发布工作流中，自动填充 issue 与 commit 的关联，减少手动记账。
• 成本效益的可追溯性 – 组织可以避免对专有大语言模型服务的高额 API 调用，同时仍然获得最先进的链接性能。
• 可扩展性 – 近似最近邻索引（HNSW）可以在适度内存下扩展到数百万次提交，使该方法在大型单体仓库中可行。
• 混合检索作为安全网 – 添加 BM25 步骤可以捕获嵌入可能遗漏的边缘案例词汇匹配，提高召回率且几乎没有额外惩罚。

局限性与未来工作

• 数据集偏差 – 实验仅限于少数流行的开源项目；在具有不同命名约定或提交粒度的专有代码库上，结果可能会有所不同。
• 特征工程依赖 – 传统机器学习重排序器的成功依赖于手工特征；自动化特征发现可能进一步提升性能。
• 大语言模型提示 – 本研究使用了通用提示；任务特定的提示工程或微调可能缩小大语言模型与传统模型之间的差距。
• 时间动态 – 当前流水线仅在简单的时间间隔特征上对问题‑提交的时间顺序进行建模；更丰富的时间模型可能提升早期链接预测。

底线：对于大多数开发团队而言，将密集检索前端与简单、调优良好的机器学习重排序器结合使用，在自动化问题‑提交链接时能够在准确性、速度和成本之间提供最佳平衡。

作者

• Cole Morgan
• Muhammad Asaduzzaman
• Shaiful Chowdhurry
• Shaowei Wang

论文信息

• arXiv ID: 2605.00447v1
• 分类: cs.SE
• 出版日期: 2026年5月1日
• PDF: 下载 PDF