[Paper] 通过分步和回滚支持的操作编排实现复杂文档工作流自动化

Source: arXiv - 2512.04445v1

概述

本文提出了 AutoDW，一个新框架，使大型语言模型（LLM）能够以细粒度控制和内置回滚功能来编排复杂的多步骤文档处理工作流。通过将用户的高层请求拆解为一系列可以即时撤销或纠正的 API 调用，AutoDW 弥合了“单轮”LLM 助手与真实办公软件中所需的稳健会话级自动化之间的差距。

关键贡献

• 逐步规划引擎，能够在用户意图、过滤后的候选 API 和当前文档状态的条件下增量选择并生成 API 操作。
• 双层回滚机制（参数级和 API 级），自动恢复错误操作，实现容错的长时序执行。
• 全面基准测试，涵盖 250 个真实文档处理会话（1,708 条人工标注指令），涉及编辑、格式化、数据抽取和版本控制等相互依赖的任务。
• 显著的实证提升：指令层面完成率 90 %，会话层面完成率 62 %，分别比最佳基线高出 40 % 和 76 %。
• 与模型骨干无关的设计，可适配不同 LLM，并在任务难度上实现可扩展。

方法论

1. 意图抽取 – 通过 LLM 解析用户的自然语言请求，推断高层目标（例如 “在新增章节后更新目录”）。
2. 候选 API 过滤 – 使用推断出的意图对文档操作 API 库（如 insert_paragraph、apply_style、save_version）进行过滤，将搜索空间缩小到最相关的操作。
3. 逐步规划 – 对每一步，系统提示 LLM 生成具体的 API 调用及其参数，条件是 当前文档状态（以轻量级 JSON 快照形式捕获）。计划立即执行，状态随之更新。
4. 支持回滚的执行 –
   • 参数级回滚：若参数无效（例如不存在的段落索引），系统会在 API 调用前自动修正。
   • API 级回滚：若 API 调用产生意外的文档变化，框架会将文档恢复到前一快照，并让 LLM 提出替代步骤。
5. 迭代循环 – 该过程重复进行，直至满足用户的高层目标或触发终止条件（最大步数、超时）。

整个流水线由轻量级控制器编排，记录每一次操作，便于调试和审计。

结果与发现

关键要点

• 回滚机制显著降低错误传播，尤其在长会话中单一错误可能导致整个工作流崩溃的情况下。
• 增量的状态感知规划比一次性“计划‑执行”方式产生更精准的 API 参数。
• AutoDW 的模块化 API 库使其能够轻松扩展到新文档格式（Word、LaTeX、HTML），无需重新训练 LLM。

实际意义

• 生产力工具：将 AutoDW 集成到办公套件（如 Microsoft Office、Google Docs）后，用户可以用自然语言描述复杂编辑（“将所有标题改为标题大小写并重新编号图表”），系统安全地执行。
• 企业自动化：企业可将标准作业流程（SOP）编码为可复用的 API 库，让非技术员工通过一次聊天指令触发多步骤文档流水线（合同生成 → 合规检查 → 电子签名）。
• 开发者友好：框架提供清晰的操作日志和回滚追踪，简化 LLM 驱动机器人调试，降低手动防护措施的需求。
• 合规与审计：每一步均被记录且可逆，组织能够保留不可变的文档变更轨迹——这对受监管行业尤为关键。

局限性与未来工作

• API 覆盖范围：当前原型仅支持精选的文档操作 API；要覆盖 CAD 图纸、法律 PDF 等小众格式仍需额外工程工作。
• 状态快照的可扩展性：对于超大文档，完整快照的回滚会占用大量内存；后续研究将探索基于差分的存储方案。
• 用户意图模糊：当指令不明确时，系统可能生成次优计划；加入澄清对话有望提升鲁棒性。
• 向非文档领域的泛化：作者推测逐步‑回滚范式同样适用于其他工作流（如数据管道），但实证验证仍留待后续研究。

AutoDW 为真正自主、抗错的文档助理开辟了有前景的道路——将自然语言指令转化为可靠的多步骤操作，让开发者和终端用户都能放心使用。

作者

• Yanbin Zhang
• Hanhui Ye
• Yue Bai
• Qiming Zhang
• Liao Xiang
• Wu Mianzhi
• Renjun Hu

论文信息

• arXiv ID: 2512.04445v1
• Categories: cs.SE, cs.AI
• Published: December 4, 2025
• PDF: Download PDF