[Paper] 评估 Assurance Cases 作为文本属性图的结构与溯源分析

Source: arXiv - 2604.20577v1

概述

本文介绍了一种基于图的 保证案例 诊断框架——形式化论证文档，用于证明系统的安全性、安保性或合规性主张。通过将每个案例视为 文本属性图，作者展示了现代图神经网络（GNN）如何自动发现隐藏的结构模式，甚至检测案例是由人类还是大型语言模型（LLM）撰写的。这项工作弥合了严格的安全工程与开发者已在代码分析、漏洞检测和模型可解释性中使用的数据驱动工具之间的鸿沟。

关键贡献

• 保证案例的图表示 – 一个公开发布的数据集，其中每个声明、证据和论证都成为具有文本属性的节点，逻辑链接则成为边。
• 链接预测流水线 – GNN 模型学习推断论证要素之间缺失或隐含的连接，在真实案例中实现 ROC‑AUC ≈ 0.76。
• 来源分类 – 二元 GNN 分类器能够区分人工撰写与 LLM 生成的保证案例，F1 分数为 0.94，揭示了自动化创作中的系统性偏差。
• 跨领域泛化 – 相同模型能够在不同受监管领域（如航空、医疗器械）之间良好迁移，并且在标记数据有限的半监督环境中仍能有效工作。
• 可解释性评估 – 现有的 GNN 解释技术（Grad‑CAM、GNNExplainer、PGExplainer）仅达到中等的忠实度，凸显模型“理由”与案例真实逻辑结构之间的不匹配。

方法论

1. 数据收集与图构建

   • 作者从开源安全标准以及通过提示 LLM（GPT‑4）生成的可比案例中收集保证案例。
   • 每个案例被解析为 有向、带类型的图：节点 = 主张、子主张、证据、上下文；边 = “supports”、 “refutes”、 “justifies”。
   • 节点特征通过预训练语言模型（例如 BERT 嵌入）从底层文本中提取。

2. 图神经网络模型

   • 对于 链接预测，使用标准的 GraphSAGE 编码器，随后使用点积解码器对潜在边进行打分。
   • 对于 来源检测，使用图注意力网络（GAT）将节点嵌入聚合为图级表示，送入二分类器。

3. 训练方案

   • 监督式：两项任务均使用完整标签集。
   • 半监督式：仅已知部分边或案例标签，利用 GNN 在图上传播信息的能力。
   • 跨域评估：在一个领域（如航空航天）上训练的模型在另一个领域（如医疗）上测试，以评估鲁棒性。

4. 可解释性分析

   • 作者应用了三种事后 GNN 解释方法，并使用自定义指标衡量 忠实度（突出子图与真实逻辑依据的匹配程度）。

结果与发现

其他观察：LLM 编写的保证案例倾向于过度使用通用的 “support” 边，并且对细微的 “context” 节点表示不足，这可能会影响后续的认证流程。

实际意义

• 安全文档的自动化 QA – 开发团队可以将链接预测模型嵌入 CI 流水线，在安全案例提交认证之前标记缺失的论证。
• AI 生成产物的偏差检测 – 当组织使用大语言模型起草合规文档时，来源分类器可以作为防护栏，确保自动生成的论点具有人类撰写的同等严谨性。
• 跨领域复用 – 由于模型具备泛化能力，单一训练好的 GNN 可在多个受监管的产品线（例如汽车 ADAS、医学影像软件）中部署，降低定制工具的需求。
• 改进可追溯性 – 通过将保证案例表示为图结构，开发者可以使用熟悉的图数据库（Neo4j、JanusGraph）查询结构（例如 “显示所有支持声明 X 的证据”）。
• 下一代工具的基础 – 数据集和代码库使社区能够构建 IDE 扩展，直观展示论证图、建议缺失链接，甚至基于学习到的模式自动补全章节。

限制与未来工作

• 数据集规模与多样性 – 虽然已公开发布，但语料库覆盖的领域和 LLM 变体有限；更广泛的行业数据可能揭示新的结构特征。
• 可解释性差距 – 现有的 GNN 解释方法未能忠实反映逻辑流程；未来研究应开发针对安全案例的特定可解释技术。
• 仅限静态分析 – 该框架尚未整合动态证据（例如测试日志、运行时遥测），这些可以丰富节点属性。
• 人工参与验证 – 本研究依赖离线指标；将模型集成到真实认证工作流中并衡量对审稿人工作量的影响仍是未完成的步骤。

通过将保证案例转化为机器可读的图结构，这项工作为开发者提供了一条路径，使其能够像对代码一样使用相同的 AI 驱动分析流水线，同时保持安全关键行业所需的严谨性。

作者

• Fariz Ikhwantri
• Dusica Marijan

论文信息

• arXiv ID: 2604.20577v1
• Categories: cs.SE, cs.LG
• Published: 2026年4月22日
• PDF: Download PDF