[Paper] 단계별 및 롤백 지원 운영 오케스트레이션을 통한 복잡한 문서 워크플로 자동화

Source: arXiv - 2512.04445v1

개요

이 논문은 AutoDW라는 새로운 프레임워크를 소개한다. AutoDW는 대형 언어 모델(LLM)이 복잡하고 다단계의 문서 처리 워크플로를 세밀하게 제어하고 내장된 롤백 기능을 통해 실시간으로 취소·수정할 수 있게 한다. 사용자의 고수준 요청을 실행 가능한 API 호출 시퀀스로 분해하고, 필요 시 즉시 되돌릴 수 있게 함으로써 “단일 샷” LLM 어시스턴트와 실제 사무 소프트웨어에서 요구되는 견고한 세션‑레벨 자동화 사이의 격차를 메운다.

주요 기여

• 단계별 계획 엔진: 사용자 의도, 필터링된 후보 API, 현재 문서 상태를 기반으로 API 동작을 점진적으로 선택·조건화한다.
• 이중 레벨 롤백 메커니즘(인자‑레벨 및 API‑레벨)으로 오류가 발생한 작업을 자동으로 되돌려 장기 실행 시 오류 내성을 제공한다.
• 포괄적인 벤치마크: 편집, 서식 지정, 데이터 추출, 버전 관리 등 상호 의존적인 작업을 포함한 250개의 현실적인 문서 처리 세션(총 1,708개의 인간 주석 지시)으로 평가하였다.
• 뛰어난 실험적 성과: 지시‑레벨 완성도 90 %, 세션‑레벨 완성도 62 %를 달성했으며, 기존 최고 베이스라인보다 각각 40 %와 76 % 향상하였다.
• 백본에 구애받지 않는 설계: 다양한 LLM에 적용 가능하며 작업 난이도에 따라 확장된다.

방법론

1. 의도 추출 – 사용자의 자연어 요청을 LLM이 파싱해 고수준 목표(예: “새 장을 추가한 뒤 목차를 업데이트”)를 추론한다.
2. 후보 API 필터링 – insert_paragraph, apply_style, save_version 등 문서 조작 API 라이브러리를 의도에 맞게 필터링해 가장 관련성 높은 동작만 남긴다.
3. 단계별 계획 – 각 단계마다 현재 문서 상태(가벼운 JSON 스냅샷)와 조건을 함께 제공해 LLM이 구체적인 API 호출과 인자를 생성한다. 계획은 즉시 실행되고 상태가 업데이트된다.
4. 롤백‑지원 실행 –
   • 인자‑레벨 롤백: 인자가 잘못된 경우(예: 존재하지 않는 단락 인덱스) 시스템이 자동으로 수정한다.
   • API‑레벨 롤백: API 호출이 예상치 못한 문서 변화를 일으키면 프레임워크가 이전 스냅샷으로 복구하고 LLM에게 대체 단계를 제안하도록 요청한다.
5. 반복 루프 – 사용자의 고수준 목표가 만족될 때까지 혹은 종료 조건(최대 단계 수, 시간 초과)에 도달할 때까지 과정을 반복한다.

전체 파이프라인은 모든 행동을 기록하는 경량 컨트롤러에 의해 오케스트레이션되며, 디버깅 및 감사 추적이 용이하다.

결과 및 발견

핵심 요약

• 롤백 메커니즘이 오류 전파를 크게 감소시켜, 특히 긴 세션에서 단 하나의 실수가 전체 워크플로를 망치는 상황을 방지한다.
• 상태를 인식한 증분 계획은 단일 샷 “계획‑후‑실행” 방식보다 더 정확한 API 인자를 생성한다.
• AutoDW의 모듈형 API 라이브러리는 LLM 재학습 없이도 Word, LaTeX, HTML 등 새로운 문서 형식으로 손쉽게 확장할 수 있다.

실용적 함의

• 생산성 도구: AutoDW를 Microsoft Office, Google Docs와 같은 오피스 스위트에 통합하면 “모든 제목을 Title Case 로 바꾸고 그림 번호를 재정렬해 주세요”와 같은 복합 편집을 자연어로 서술하고 안전하게 실행할 수 있다.
• 기업 자동화: 기업은 SOP(표준 운영 절차)를 재사용 가능한 API 라이브러리로 인코딩해 비전문가가 채팅 명령 하나로 계약 생성 → 규정 검토 → 전자 서명 등 다단계 문서 파이프라인을 구동할 수 있다.
• 개발자 편의성: 명확한 행동 로그와 롤백 트레이스는 LLM 기반 봇 디버깅을 단순화해 수동 방어 장치의 필요성을 줄인다.
• 컴플라이언스 및 감사: 모든 단계가 기록·복구 가능하므로 규제 산업에서 필수적인 불변 변경 이력을 유지할 수 있다.

제한점 및 향후 과제

• API 범위: 현재 프로토타입은 제한된 문서 조작 API 집합만 지원한다. CAD 도면, 법률 PDF 등 특수 형식으로 확장하려면 추가 엔지니어링이 필요하다.
• 상태 스냅샷 확장성: 매우 큰 문서의 경우 전체 스냅샷을 유지하는 것이 메모리 비용이 크다. 향후 차분 기반 저장 방식을 탐색할 예정이다.
• 사용자 의도 모호성: 지시가 애매할 경우 서브 최적화된 계획이 생성될 수 있다. 명확화 대화를 도입하면 견고성을 높일 수 있다.
• 비문서 도메인 일반화: 저자들은 단계‑롤백 패러다임이 데이터 파이프라인 등 다른 워크플로에도 적용될 수 있다고 가정하지만, 실증적 검증은 추후 연구에 남겨둔다.

AutoDW는 자연어 명령을 신뢰할 수 있는 다단계 작업으로 변환하는 진정한 자율형, 오류‑복원 문서 어시스턴트를 향한 유망한 길을 열어준다.

저자

• Yanbin Zhang
• Hanhui Ye
• Yue Bai
• Qiming Zhang
• Liao Xiang
• Wu Mianzhi
• Renjun Hu

논문 정보

• arXiv ID: 2512.04445v1
• Categories: cs.SE, cs.AI
• Published: December 4, 2025
• PDF: Download PDF