CsvPath는 쉬운 언어인가요, 아니면 어려운 언어인가요?

Source: Dev.to

CsvPath와 CsvPath 검증 언어 (CVL)

CsvPath Framework에는 CsvPath 검증 언어가 포함되어 있으며, 약어는 CVL입니다.
CVL은 XSD, Schematron, DDL, JSONQuery와 유사한 문서‑지향, 표‑형식 데이터 검증 언어입니다. CSV, Excel, JSONL 파일 및 메모리 내 데이터 프레임(예: Pandas, Polars)을 검증할 수 있습니다. CsvPath Framework 내에서 CVL은 더 큰 데이터‑프리‑보딩 아키텍처를 위한 검증 및 업그레이드 기능을 제공합니다.

라인‑별 검증

CVL은 라인‑기반입니다: 전체 데이터를 메모리에 로드하지 않고, 스트리밍하면서 라인‑단위로 검증합니다.
다른 언어들(XSD, DDL 등)은 전체 데이터를 한 번에 처리하여 메모리 사용량을 속도와 교환합니다. DDL은 RAM보다 큰 데이터를 처리하기 위한 전략이 있지만, CVL의 스트리밍 접근 방식은 전체‑셋 언어가 어려워하는 작업을 가능하게 하고, 그 반대도 마찬가지입니다. 런타임 환경은 이러한 제한 중 많은 부분을 완화할 수 있습니다.

선언형 특성

언급된 모든 언어—CVL 포함—는 선언형입니다. 무엇을 해야 하는지 혹은 무엇을 테스트할지 기술하면, 런타임이 어떻게 결과를 도출할지 결정합니다.

스키마‑기반 및 규칙‑기반

• CVL의 스키마 정의는 SQL의 DDL과 유사합니다.
• 규칙 정의는 Schematron 및 SQL 쿼리와 비슷합니다.

CVL은 문법적으로 의도적으로 단순하지만, 비즈니스 로직 검증을 위한 수백 개의 함수를 제공합니다. 주어진 작업에 적합한 함수를 선택하는 것이 가장 큰 학습 곡선이 될 때가 많습니다.

왜 표‑형식 데이터 검증 언어가 필요한가?

• CSV와 유사한 포맷은 어디에나 존재하고 매우 유연하지만, 생산성을 저해하고 위험을 증가시킬 수 있습니다.
• 데이터는 종종 외부 파트너로부터 제공되므로, 문제를 조기에 감지하는 것이 필수적입니다.
• 오류는 기업 내부로 이동하면서 전파·증폭되어, 복구 비용이 크게 늘어납니다.

가능한 한 소스에 가깝게 검증하면 영향을 최소화하고 다운스트림에서의 문제 해결을 줄일 수 있습니다.

학습 곡선: 쉬운가, 어려운가?

CVL을 배우는 데 필요한 노력은 목표에 따라 달라집니다:

CVL은 자동화를 위해 설계되었으며, 일회성 스크립팅을 위한 것이 아닙니다. CVL 스크립트를 코드처럼 다루세요: 버전 관리하고, 테스트를 작성하고, 간단하고 재사용 가능하도록 유지합니다. 올바르게 사용한다면 CVL은 학습하기 쉽고 사용하기도 쉽지만, 강력한 언어인 만큼 오용될 위험도 있습니다.

예시 시나리오

소매 파트너가 주문에 대한 주간 CSV 파일을 전송합니다. 파일이 기업 시스템에 들어가기 전에 검증해야 합니다.

샘플 데이터

ID,date,time,store,address,city,state,zip,category,type,shelf,vendor,product name,UPC,SKU,unit,quantity,a price
03358993,03/21/2024,10:24:14,Bob's store,1 Lakeshore Drive, Chicago, IL, 33581,OFFICE,PAPER,1-5,Sams Paper,20lbs Ream,0301024855,,per each,8,20.99
03358994,03/21/2024,10:31:28,Fred's store,1 Lakeshore Drive, Chicago, IL, 33581,OPERA,WRITING,1-5,Biz Pen,10-pack Black,0541931855,0432950078,per each,2,4
03358995,03/21/2024,11:26:18,Mary's story, 1 Lakeshore Drive, Chicago, IL, 33581,FOOD,CANDY,7,Starbursts,Single,3583900656,0899920453,per each,1,1.29d

검증 목표

• 잘못된 가격 감지(예: 소수점 이하 자리수가 누락된 경우).
• 잘못된 카테고리 표시.
• SKU 값이 누락된 경우 식별.
• UPC 값이 누락된 경우 식별.

CVL 스크립트 (CsvPath)

validation-mode:no-raise, no-stop, print, no-fail, collect
logic-mode:OR

${FILE}[1*][
  # --- Category check ---
  @in = in(#category, "OFFICE|COMPUTING|FURNITURE|PRINT|FOOD|OTHER")
  not(@in.asbool) ->
    error.category("Bad category $.headers.category at line $.csvpath.count_lines", fail())

  # --- Price format check ---
  @price_format = exact(end(), /\$?\d*\.\d{2}/)
  not(@price_format.asbool) ->
    error.price("Bad price $.headers.'a price' at line $.csvpath.count_lines", fail())

  # --- SKU presence check ---
  not(#SKU) ->
    error.sku("No SKU at line $.csvpath.count_lines", fail())

  # --- UPC presence check ---
  not(#UPC) ->
    error.upc("No UPC at line $.csvpath.count_lines", fail())
]

실제 운영 환경에서는 이러한 규칙들을 별도의 CsvPath 파일로 나누어 named‑paths 그룹으로 실행할 가능성이 높습니다. 위 예시는 설명을 위해 파일 경로(${FILE})를 직접 삽입한 것입니다.

기억해야 할 핵심 포인트

• Logic mode(OR vs. AND)는 여러 규칙이 어떻게 결합되는지를 결정합니다.
• validation‑mode는 오류 처리 방식을 제어합니다(no-raise, no-stop, print 등).
• 함수에서 불리언 결과가 필요할 때는 **asbool**을 사용합니다.
• 할당(@var = …)은 매치 성공 여부를 결정하지 않으며, 뒤따르는 술어가 매치 여부를 판단합니다.
• 공백이나 특수 문자가 포함된 헤더 이름은 따옴표('a price')로 감싸야 합니다.
• fail()은 현재 라인이 유효하지 않다고 표시합니다.
• 오류에 설명적인 이름을 붙이는(error.category, error.price 등) 것은 다운스트림 처리에 도움이 됩니다.

결론

CVL은 선언형이며 라인‑단위 스트리밍 방식이라는 특성을 이해하고 핵심 함수를 익히면 쉽게 느껴집니다. 학습 곡선은 주로 문법적인 미묘함과 검증 스크립트를 구조화하는 모범 사례를 기억하는 데에 있습니다. 대규모·반복 가능한 데이터‑프리‑보딩 파이프라인에서는 CVL이 간결하고 유지보수하기 쉬운 솔루션을 제공하며, 즉석 스크립팅보다 훨씬 확장성이 뛰어납니다.

자세한 내용과 고급 예시는 공식 문서를 참고하세요.