[论文] 多发布系统的问答：Ciena 案例研究

Source: arXiv - 2601.02345v1

概述

本文解决了软件供应商和大型企业在实际工作中面临的痛点：当同一产品的多个版本同时在现场使用时，如何回答开发者或运维人员的问题。传统的检索增强生成（RAG）聊天机器人在“多版本”文档上表现不佳，因为不同版本的文本几乎相同，却包含细微的、特定版本的差异。作者提出了 QAMR，一种将 RAG 适配以可靠地为对应版本提供正确答案的聊天机器人，并在公开基准和专有的 Ciena 数据集上对其进行了验证。

关键贡献

• QAMR 架构，在标准 RAG 基础上扩展了预处理、查询改写和智能上下文选择，以消除重叠发布文档的歧义。
• 双块划分策略：检索阶段和生成阶段使用不同的块大小，允许分别调优以获得最佳性能。
• 实证验证：在公共 SE 基准和来自 Ciena 的大型真实多发布语料库上进行，显示出相较于强基线的显著提升。
• 全面的消融研究：展示了每个 QAMR 组件对答案正确性和检索准确性的单独影响。
• 相关性分析：确认自动计算的指标与专家人工判断高度一致，支持评估流水线的可靠性。

方法论

1. 文档预处理 – 首先对原始多版本手册进行规范化（例如，去除版本标签，合并重复章节），以在保留版本特定线索的同时降低噪声。
2. 查询改写 – 当用户提出问题时，轻量级分类器检测查询是否提及某个版本（显式或隐式），并将其改写为包含相应版本标识符的形式。
3. 上下文选择 – QAMR 不会将检索到的整个段落全部喂给生成模型，而是使用一种考虑相似度的排序器，惩罚跨版本重叠，从而选择 聚焦于特定版本 的子集。
4. 双重分块 – 检索阶段使用相对较大的块（≈300‑500 词），以捕获足够的上下文实现准确匹配；生成模型则接收更小、更细粒度的块（≈100‑150 词），以保持提示简洁并降低幻觉。
5. 答案生成 – 标准的大型语言模型（LLM）以改写后的查询和选定的生成块为提示，生成最终答案。
6. 评估 – 准确度在检索层面（系统是否获取了正确的版本文档？）和答案层面（答案是否在事实层面正确？）两方面进行衡量。人工专家还对样本进行评分，以验证指标的有效性。

结果与发现

• 消融影响： 移除查询改写会使答案正确率下降约 7 pp；禁用双块处理会使检索准确率下降约 5 pp。即使是表现最好的单组件变体，仍比完整的 QAMR 低约 19.6 %（答案）和 14.0 %（检索）。
• 人工 vs. 自动评分： Pearson 相关系数 > 0.92，表明自动化指标是可信的专家评估代理。

实际意义

• 降低支持开销: 公司可以部署基于 QAMR 的助手，处理工程师、现场技术人员或客户的特定版本查询，而无需为每个版本维护独立的机器人。
• 更快的入职培训: 新员工可以询问“在 7.3 版本中如何配置功能 X？”并获得精准指导，从而减少查找文档的时间。
• 改进 CI/CD 工具: 与内部工单系统或聊天平台（如 Slack、Teams）的集成，使得自动化的“版本感知”故障排除机器人能够获取正确的配置片段或迁移步骤。
• 可扩展的知识管理: 双分块方法让组织能够保持单一统一的文档库，同时提供准确的、针对特定版本的答案。
• 其他领域的潜力: 任何手册重叠的产品线——硬件固件、API 版本、合规指南——都可以从同一流水线中受益。

限制与未来工作

• 依赖明确的版本提示： 当查询或文档包含清晰的发布标识时，QAMR 表现最佳；模糊的表述仍可能导致误选。
• 手动调节块大小： 检索和生成块的最佳长度是基于 Ciena 数据集经验性选择的；自动调参或自适应分块可能提升可移植性。
• LLM 幻觉风险： 尽管双块策略降低了幻觉，但如果检索到的上下文噪声较大，底层生成模型仍可能产生看似合理却不正确的陈述。
• 评估范围： 本研究聚焦于单一行业合作伙伴；在更广泛的软硬件栈（如开源库、云服务）上进行验证将提升通用性。
• 未来方向： 作者建议探索端到端可训练的检索‑生成模型，以联合学习发布歧义消除，并引入用户反馈循环持续优化查询重写组件。

作者

• Parham Khamsepour
• Mark Cole
• Ish Ashraf
• Sandeep Puri
• Mehrdad Sabetzadeh
• Shiva Nejati

论文信息

• arXiv ID: 2601.02345v1
• 分类: cs.SE
• 发表时间: 2026年1月5日
• PDF: 下载 PDF