[논문] PIPE‑Cypher: 텍스트‑사이퍼 시스템을 위한 자동 기업 벤치마크 생성
개요
엔터프라이즈 프로퍼티 그래프는 스키마 구조, 내부 용어, 도메인 가정, 거버넌스 제약, 사용자 상호작용 패턴 등에서 매우 다양합니다. 따라서 배포와 관련된 Text2Cypher 벤치마크는 사용자가 실제로 그래프에 대해 묻는 질문을 반영해야 합니다. 이러한 벤치마크를 만드는 것은 스키마와 값이 고유하고 그래프 구조가 시간이 지남에 따라 변하기 때문에 어렵습니다. 각 자연어‑쿼리 쌍은 실행 가능해야 하고, 실제 그래프 엔터티를 사용하며, 다양성을 유지하고, 쿼리 유형 및 난이도 수준에 걸쳐 균형을 이루어야 합니다. 우리는 PIPE‑Cypher를 소개합니다. 이는 실시간 프로퍼티 그래프와 고객 질문, 분석가 로그, 에이전트 도구 호출 등에서 얻은 선택적 시드 쿼리를 균형 잡힌 NL‑to‑Cypher 벤치마크로 변환하는 로컬 벤치마크 생성 파이프라인입니다. PIPE‑Cypher는 스키마 프로파일링, 역쿼리 그라운딩, 제약 생성, 결정적 Cypher 거버넌스, 실행 검증, 레드액션, 다양성 제어, 그리고 보정된 로컬 LLM 심판자를 결합합니다. 로컬 Qwen3.5‑9B를 사용해 생성·판단한 결과, PIPE‑Cypher는 3,000개의 승인된 FinBench/SNB 예시를 내보내고, 세 개의 감사된 소거 실험군을 완료하며, 인간 라벨을 통해 심판자 행동을 보정하고, 11개의 로컬 다운스트림 모델을 평가했습니다. 최종 벤치마크는 의도적으로 차별화된 특성을 갖습니다: 제로샷 전이 성능은 낮지만, 몇 샷 제어 실험에서는 스키마‑특화 예시 은행이 호환 모델군에 도움이 됨을 보여줍니다. PIPE‑Cypher는 Text2Cypher 벤치마킹을 그래프와 사용자, 목표 워크로드에 맞춰 지속적으로 진화하는 반복 가능한 프로세스로 만들었습니다.
핵심 기여
이 논문은 다음 분야의 연구를 다룹니다:
- cs.LG
- cs.AI
- cs.DB
- cs.SE
방법론
자세한 방법론은 전체 논문을 참고하십시오.
실용적 함의
이 연구는 cs.LG 분야의 발전에 기여합니다.
저자
- Suraj Ranganath
- Anish Raghavendra
논문 정보
- arXiv ID: 2606.08481v1
- Categories: cs.LG, cs.AI, cs.DB, cs.SE
- Published: 2026년 6월 7일
- PDF: PDF 다운로드