[논문] EdgeFlow: 산업 요구공학을 위한 엣지맵 강화 VLM 기반 흐름도 처리

Source: arXiv - 2605.27332v1

개요

이 논문은 EdgeFlow라는 경량 기법을 소개한다. EdgeFlow는 산업 현장의 요구사항 문서에 흔히 등장하는 정적인 흐름도 이미지를 편집 가능한 Mermaid 코드로 변환하는 비전‑언어 모델(VLM)의 능력을 크게 향상시킨다. 원본 이미지와 함께 간단한 캐니(Canny) 에지 맵을 제공함으로써, EdgeFlow는 VLM에 구조적 단서를 제공하고, 노드·에지·실행 경로 보존을 현저히 개선한다. 이 과정에는 추가 학습 데이터나 파인‑튜닝이 전혀 필요하지 않다.

주요 기여

• 에지 맵 증강: 모든 기존 VLM에 적용 가능한 구조적 사전 정보로서 캐니 에지 추출이라는 결정론적 전처리 단계를 제안한다.
• 학습‑프리 파이프라인: 흐름도에 대한 라벨링 데이터나 모델 재학습 없이도 큰 정확도 향상을 달성한다.
• 산업 규모 평가: 실제 요구사항 기반 흐름도 데이터셋 IndusReqFlow를 도입하고, 노드·에지 F1 점수가 약 17 % 향상되는 것을 보인다.
• 경로‑수준 메트릭: 위상 보존이 향상되면 하위 모델 기반 테스트에서 더 높은 품질의 경로를 제공한다는 것을 입증한다.
• 벤치마크 통찰: 합성 벤치마크는 산업용 흐름도의 어려움을 포착하지 못함을 밝혀, 보다 풍부한 평가 스위트의 필요성을 제시한다.

방법론

1. 입력 준비 – 각 흐름도 이미지에 대해 캐니 에지 맵을 계산한다. 이 맵은 도형의 골격(선, 화살표, 박스 테두리)을 강조한다.
2. 듀얼‑채널 입력 – 원본 RGB 이미지와 에지 맵을 결합(또는 스택)하여 일반적인 VLM(예: GPT‑4‑V, LLaVA)에 입력한다. VLM은 기존 흐름도‑to‑Mermaid 변환에 사용되는 동일한 프롬프트를 받는다.
3. 프롬프트 설계 – 간결한 지시문으로 모델에게 다이어그램의 노드·에지·흐름 방향을 재현하는 Mermaid 구문을 출력하도록 요청한다. 이 외의 프롬프트 엔지니어링은 필요하지 않다.
4. 후처리 – 생성된 Mermaid 코드를 파싱해 노드와 에지 리스트를 추출하고, 이를 정답 어노테이션과 비교한다.
5. 평가 지표 – 노드 수준, 에지 수준, 경로 F1 점수를 계산해 개별 요소와 전체 실행 경로 두 측면의 충실도를 동시에 측정한다.

전체 파이프라인은 추론 전용이며, 에지 맵 계산은 밀리초 단위로 이루어져 레거시 문서의 실시간 처리에 적합하다.

결과 및 고찰

• 위상 보존: 에지 맵 덕분에 VLM이 화살표 방향과 연결 관계를 정확히 추론하게 되며, 이는 원본 이미지만 사용할 때 자주 놓치는 부분이다.
• 실제 효과: IndusReqFlow(실제 산업 요구 사양에서 추출)에서 개선 효과가 통계적으로 유의미하며, 자동 테스트 케이스 생성 등 하위 작업의 신뢰성을 크게 높인다.
• 교차 데이터셋 검증: 공개된 합성 흐름도 벤치마크에서는 EdgeFlow의 이점이 사라지며, 합성 데이터가 산업 현장의 시각적 잡음·다양한 스타일·주석 특성을 충분히 반영하지 못함을 보여준다.

실용적 함의

• 레거시 문서 현대화: 기업은 수십 년 된 PDF·스캔 흐름도를 자동으로 버전 관리가 가능한 Mermaid 파일로 마이그레이션해 협업 및 CI 파이프라인에 활용할 수 있다.
• 모델 기반 테스트(MBT): 정확한 경로 추출 덕분에 테스트 케이스 생성기가 Mermaid 출력을 바로 소비할 수 있어 요구사항 기반 테스트 스위트를 만드는 수작업을 크게 줄인다.
• 툴 연동: EdgeFlow는 기존 VLM API와 호환되므로 Flask 엔드포인트와 같은 마이크로서비스로 래핑해 Jama, IBM DOORS, Azure DevOps 등 요구사항 관리 플랫폼에 손쉽게 연결할 수 있다.
• 비용 효율성: 별도의 라벨링 프로젝트나 파인‑튜닝 비용이 전혀 필요 없으며, 추가 연산은 에지 검출 단계뿐으로 현대 CPU/GPU에서는 무시할 수준이다.
• 확장성: 동일한 에지 맵 증강 아이디어를 UML, BPMN 등 위상 보존이 중요한 다른 다이어그램에도 적용할 수 있다.

한계 및 향후 연구

• 도메인 의존성: EdgeFlow의 효과는 산업용 흐름도의 시각적 복잡도에 크게 좌우되며, 깔끔한 합성 다이어그램에서는 에지 맵이 거의 도움이 되지 않는다.
• 에지 검출 민감도: 캐니 파라미터가 고정돼 있어 극히 낮은 대비나 손으로 그린 차트는 노이즈가 많은 에지를 생성해 성능을 저하시킬 수 있다.
• VLM 블랙박스: 다채널 입력을 지원해야 하는데, 모든 API가 이를 제공하지는 않는다.
• 벤치마크 격차: 저자들은 다양한 실제 RE 다이어그램 데이터셋이 부족함을 지적하며, 커뮤니티가 풍부한 벤치마크 구축을 촉구한다.
• 미래 방향: 적응형 에지 맵 생성(예: 최적 임계값 학습), 다른 구조적 사전(스켈레톤화, 선분 검출) 탐색, 다중 페이지 요구사항 번들에 대한 파이프라인 확장 등을 제안한다.

EdgeFlow는 작은 결정론적 전처리 단계만으로도 강력한 VLM을 실용적인 엔지니어링 문제—정적 레거시 흐름도를 최신 개발 워크플로에 바로 사용할 수 있는 살아있는 모델로 변환—에 완전히 활용할 수 있음을 보여준다.

저자

• Zhifei Dou
• Shabnam Hassani
• Ou Wei

논문 정보

• arXiv ID: 2605.27332v1
• 분류: cs.SE, cs.AI, cs.CV
• 발행일: 2026년 5월 26일
• PDF: PDF 다운로드