[Paper] 评估大型语言模型的业务流程建模能力

Source: arXiv - 2601.21787v1

概述

论文 Assessing the Business Process Modeling Competences of Large Language Models 考察了现代大型语言模型在从自然语言规范生成业务流程模型与标记（BPMN）图方面的表现。通过引入系统化评估框架（BEF4LLM），作者将开源大型语言模型与经验丰富的 BPMN 建模者进行比较，阐明了 AI 在自动化核心企业架构任务方面的优势所在以及仍然不足之处。

关键贡献

• BEF4LLM 框架 – 一个四维评分标准（句法、语用、语义、有效性），用于严格评估 LLM 生成的 BPMN 模型。
• 综合基准 – 在精选的真实业务流程描述集合上，对多个开源 LLM（如 Llama 2、Mistral）与人类专家进行评估。
• 实证发现 – LLM 在句法和语用质量上与人类持平或超越，而在人类在语义忠实度和整体有效性上仍有小幅优势。
• 实用指南 – 针对模型微调、提示工程和生成后验证提供具体建议，以提升实际部署效果。

方法论

1. 数据集创建 – 作者收集了多样化的业务流程叙述语料库（例如，order‑to‑cash、employee onboarding），并手动制作了参考 BPMN 图。
2. LLM 提示 – 将每个叙述使用标准化的 “text‑to‑BPMN” 提示输入到多个开源 LLM 中，生成基于 XML 的 BPMN 文件。
3. BEF4LLM 评分
   • 语法：检查 BPMN XML 是否格式良好（标签、ID、连接器是否正确）。
   • 语用：评估是否遵循 BPMN 约定（网关、事件类型的正确使用）。
   • 语义：衡量生成的图是否准确捕捉预期的业务逻辑（例如，任务顺序是否正确）。
   • 有效性：将上述检查与领域特定约束相结合（例如，无死路，正确的开始/结束事件）。
4. 人工基准 – 有经验的 BPMN 建模师执行相同任务，提供性能上限。
5. 统计分析 – 将得分汇总并使用配对 t 检验和效应量指标进行比较，以量化差距。

结果与发现

• 优势：LLM 能可靠生成格式良好的 BPMN 文件并遵守建模语法，适合快速原型设计。
• 劣势：语义漂移（任务顺序错误、缺少条件）以及偶发的有效性违规（例如孤立网关）仍是主要痛点。
• 总体：性能差距适中，尤其在语法/语用方面，表明 LLM 已经是 BPMN 创建的可行助理。

实际意义

• 快速图表生成 – 开发者可以将基于 LLM 的 “文本‑到‑BPMN” 服务集成到低代码平台中，将初始建模时间缩短最多 50 %。
• 辅助工具 – IDE 插件可以在工程师编写流程文档时即时建议 BPMN 片段，提高团队间的一致性。
• 成本效益高的原型制作 – 中小企业可以在不雇佣专职 BPMN 分析师的情况下快速原型化工作流，仅在最终验证阶段保留专家审查。
• 微调机会 – 已识别的语义差距指向对特定领域流程语料库进行有针对性的微调，能够在相对较低的数据成本下实现进一步提升。
• 合规检查 – 将 LLM 输出与自动有效性验证器（例如 Camunda 的 BPMN 引擎）结合，可在部署前捕获剩余错误。

限制与未来工作

• 流程类型范围 – 基准测试聚焦于常见的企业流程；小众或高度受监管的工作流可能会暴露出额外的弱点。
• 仅限开源大模型 – 未评估专有模型（例如 GPT‑4），因此仍然存在性能还能提升多少的疑问。
• 人工评估偏差 – 人类专家数量有限，可能无法捕捉建模专业知识的全部变异性。
• 作者提出的未来方向 包括：
  1. 扩展数据集以覆盖更多行业垂直领域。
  2. 探索基于人类反馈的强化学习（RLHF）循环，以提升语义保真度。
  3. 整合领域本体以增强有效性检查。

作者

• Chantale Lauer
• Peter Pfeiffer
• Alexander Rombach
• Nijat Mehdiyev

论文信息

• arXiv ID: 2601.21787v1
• 分类: cs.SE, cs.AI
• 发布日期: 2026年1月29日
• PDF: 下载 PDF