[Paper] ‘Where is My Troubleshooting Procedure?’：研究RAG在协助大型Cyber-Physical System故障解决中的潜力

Source: arXiv - 2601.08706v1

概览

本文研究了如何将检索增强生成（RAG）转化为对话式助手，帮助操作员在大型网络物理系统（CPS）的海量自然语言手册中快速定位正确的故障排除程序。利用来自芬坎特里（Fincantieri）海军平台的真实数据，作者展示了基于 RAG 的工具能够显著缩短查找相关步骤的时间，但同时也强调在执行任何建议之前需要设置安全防护措施。

关键贡献

• RAG 在 CPS 故障排查中的实证研究 – 首次对包含数千个程序的工业海军手册进行大规模评估。
• 混合检索‑生成流水线的设计，将稠密向量搜索与微调语言模型相结合，以生成简洁、上下文感知的答案。
• 以用户为中心的评估，邀请真实操作员参与，衡量助手的速度、准确性和感知有用性。
• 安全部署指南，包括交叉验证机制和置信阈值启发式方法，以避免盲目执行生成的步骤。
• 开放数据集与基准（手册的匿名摘录），向研究社区发布，以便复现和扩展实验。

方法论

1. 数据准备 – 作者从 Fincantieri 的文档中提取了 3,412 个故障排除程序，清理文本并将其划分为程序级别的块。
2. 检索层 – 基于 SBERT 的密集嵌入模型对这些块进行索引，从而在给定症状描述时实现快速相似度搜索。
3. 生成层 – 对 GPT 风格的解码器在手册的一个子集上进行微调，以将检索到的片段改写为简洁的、针对操作员查询的逐步指令。
4. 安全包装层 – 在呈现答案之前，系统运行基于规则的验证器，将关键操作（例如断电、阀门更换）与白名单进行比对，并标记低置信度的输出。
5. 评估 – 进行了两项实验：(a) 离线指标（Recall@k、BLEU、事实一致性）和 (b) 在线用户研究，邀请 12 位经验丰富的操作员使用 RAG 助理或传统手册搜索解决模拟故障情景。

结果与发现

关键要点

• RAG 工具将“搜索‑识别”阶段缩短约 65 %，在时间紧迫的事件中是巨大的优势。
• 准确性有所提升，但仍有少量生成的答案建议不安全的操作，凸显验证层的重要性。
• 操作员报告说，对话界面降低了认知负荷，使得提出后续的“如果如何”问题更加容易。

Practical Implications

• 更快的事件响应 – 在控制室部署基于 RAG 的助手可以将故障诊断时间缩短数分钟，从而有可能防止船厂、发电厂或生产线的高额停机损失。
• 降低培训负担 – 新工程师可以依赖该助手在海量遗留文档中导航，而无需记住每一个操作流程。
• 集成路径 – 该架构可以通过 API 包装在现有的 CMMS/SCADA 系统之上，实现从聊天机器人到执行平台的无缝交接。
• 安全优先的部署 – 论文中的验证钩子（基于规则的检查、置信度阈值）提供了构建“人机在环”安全保障的蓝图，满足监管标准。

限制与未来工作

• 领域特定性 – 本研究聚焦于海军 CPS；在词汇或流程结构不同的其他行业，结果可能有所不同。
• 多语言支持有限 – 手册以意大利语为主；扩展到多语言语料库将需要额外的语言模型。
• 验证的可扩展性 – 基于规则的交叉检查适用于已知的一组关键操作，但可能在面对新颖流程时出现困难；未来工作可以探索自动形式化验证或基于强化学习的安全网。
• 用户研究规模 – 仅有 12 位操作员参与；需要更大规模的现场试验以确认长期采纳情况及对真实事故的影响。

结论：RAG 作为大规模故障排除手册的“智能搜索”层展现出强大潜力，提供了显著的速度和准确性提升，同时提醒我们，安全关键领域仍需严格验证，方可让 AI 掌舵。

作者

• Maria Teresa Rossi
• Leonardo Mariani
• Oliviero Riganelli
• Giuseppe Filomento
• Danilo Giannone
• Paolo Gavazzo

论文信息

• arXiv ID: 2601.08706v1
• 分类: cs.SE
• 发表时间: 2026年1月13日
• PDF: 下载 PDF