[Paper] 微调小型语言模型作为高效企业搜索相关性标注器

Source: arXiv - 2601.03211v1

Source:

Overview

企业需要大量带有相关性标签的查询‑文档对来训练和评估搜索系统，但在大规模获取高质量的人类标注成本极高。本文展示了如何 微调一个小型语言模型（SLM）以充当准确且低成本的相关性标注器，该模型使用大型语言模型（LLM）生成的合成数据进行训练。最终得到的 SLM 在标注质量上与原始 LLM 相当或更佳，同时实现了 17 倍的吞吐量提升 和 19 倍的成本降低，使企业级的相关性标注变得可行。

关键贡献

• 合成数据流水线：从种子文档生成逼真的企业查询，使用 BM25 检索困难负例，并通过教师 LLM 标注相关性。
• 蒸馏到小模型：在合成数据集上训练紧凑的 SLM（例如 3 亿参数模型），将其转化为快速的相关性分类器。
• 基准验证：在精心策划的 923 条人工标注的查询‑文档对上评估蒸馏后的 SLM，达到与教师 LLM 相当或更好的匹配度。
• 效率提升：相较于直接使用教师 LLM 标注，实现了 17 倍的速度提升和 19 倍的成本降低。
• 开源友好配方：提供可复现的工作流，可在最小工程投入下适配任何企业领域。

方法论

1. 种子文档收集 – 收集一小批特定领域的文档（例如内部知识库文章）。
2. 查询合成 – 提示强大的大语言模型（例如 GPT‑4）编写合理的企业搜索查询，以检索每个种子文档。
3. 硬负例挖掘 – 在文档语料库上运行 BM25，针对每个合成查询抽取 top‑k 的非相关段落，确保训练集包含具有挑战性的干扰项。
4. 教师打分 – 使用相同的大语言模型为每个查询‑文档对（包括硬负例）分配相关性分数（例如二元或分级），从而生成大规模的自动标注数据集。
5. 蒸馏 – 在教师生成的标签上微调一个更小、更高效的语言模型，将 LLM 的分数视为软目标。
6. 评估 – 将蒸馏后的 SLM 预测结果与高质量的人类标注基准进行比较，测量一致性（例如 Kendall’s τ、nDCG）。

该流水线刻意保持模块化：任何大语言模型都可充当教师，任何检索方法都可提供负例，任何 SLM 架构（如 DistilBERT、LLaMA‑7B）都可作为学生。

结果与发现

• 蒸馏后的 SLM 在相关性和排序指标上均优于教师模型，这可能是因为学生在训练期间看到的样本远多于教师在推理时看到的样本。
• 速度：SLM 在单个 GPU 上的处理速度超过 2 k 查询/秒，而教师 LLM 约为 120 qps。
• 成本：对 1 M 查询‑文档对进行标注的费用从约 $12 k（LLM API）降至不到 $1 k，降低了约 19 倍。

这些数据表明，该方法能够以极低的成本提供 企业级标注质量。

Practical Implications

• Rapid offline evaluation – Teams can generate massive relevance test sets overnight, enabling frequent A/B testing of ranking models without waiting for human annotators.
• Domain adaptation – By swapping the seed documents and re‑running the pipeline, companies can quickly produce relevance labels for new product lines, regulatory domains, or multilingual corpora.
• Cost‑effective data augmentation – The SLM can be used to label billions of candidate pairs for weak supervision, feeding downstream neural rankers or dense retrieval models.
• Edge deployment – Because the student model is small, it can run on on‑premise hardware or even edge devices, supporting privacy‑sensitive enterprise environments where sending data to external LLM APIs is prohibited.
• Continuous improvement loop – As new human feedback arrives, it can be added to the synthetic pool, periodically re‑distilling the SLM to keep it up‑to‑date without re‑training a massive LLM.

实际意义

• 快速离线评估 – 团队可以在一夜之间生成海量相关性测试集，从而实现对排序模型的频繁 A/B 测试，而无需等待人工标注。
• 领域适配 – 只需更换种子文档并重新运行流水线，企业即可快速为新产品线、监管领域或多语言语料库生成相关性标签。
• 成本高效的数据增强 – SLM 可用于为数十亿候选对打标签，提供弱监督信号，供下游神经排序器或密集检索模型使用。
• 边缘部署 – 由于学生模型体积小，可在本地硬件甚至边缘设备上运行，满足对隐私敏感的企业环境，避免将数据发送至外部 LLM API。
• 持续改进循环 – 随着新的人类反馈到来，可将其加入合成池，定期重新蒸馏 SLM，使其保持最新，而无需重新训练大型 LLM。

限制与未来工作

• 合成偏差 – 生成查询和教师评分的质量取决于大型语言模型；系统性偏差（例如，对相关性过于乐观）可能会被 SLM 继承。
• 硬负样本多样性 – BM25 可能遗漏语义相似的负样本；引入神经检索进行负样本挖掘可能提升鲁棒性。
• 种子文档规模 – 该方法假设有代表性的种子集合；在非常细分的领域仍可能出现覆盖不足的问题。
• 评估范围 – 基准测试聚焦于单一企业数据集；需要更广泛的跨行业验证。
• 未来方向 作者提出包括：(1) 探索多教师集成，(2) 融入基于人类反馈的强化学习以纠正合成错误，(3) 将流水线扩展到多语言企业语料库。

作者

• Yue Kang
• Zhuoyi Huang
• Benji Schussheim
• Diana Licon
• Dina Atia
• Shixing Cao
• Jacob Danovitch
• Kunho Kim
• Billy Norcilien
• Jonah Karpman
• Mahmound Sayed
• Mike Taylor
• Tao Sun
• Pavel Metrikov
• Vipul Agarwal
• Chris Quirk
• Ye‑Yi Wang
• Nick Craswell
• Irene Shaffer
• Tianwei Chen
• Sulaiman Vesal
• Soundar Srinivasan

论文信息

• arXiv ID: 2601.03211v1
• 类别: cs.IR, cs.AI, cs.CL
• 出版时间: 2026年1月6日
• PDF: 下载 PDF