· software
CSV/TSV/Excel/Parquet 파일의 정리, 검증 및 쿼리를 위한 미니멀한 Go 툴킷
많은 소프트웨어 시스템에서 모든 데이터가 데이터베이스 안에만 존재하는 것은 아닙니다. 때때로 CSV, TSV, 스프레드시트와 같은 구조화된 파일에 저장되며, 실제로는…
-
- · software
🔥 7일 차: PySpark Joins, Unions, 그리고 GroupBy 가이드
1. PySpark에서의 조인 — ETL 파이프라인의 핵심 조인은 두 개의 DataFrame을 키를 기준으로 병합하는 것으로, SQL과 유사합니다. 기본 조인 예시: python df.join(df2, df.id == df2.id, 'inner')
- · software
Data Pipeline Tools 비교: 올바른 선택을 위한 핵심 기준
데이터는 우리 주변에 가득합니다 — CRM 시스템과 클라우드 앱부터 스프레드시트와 데이터 웨어하우스까지. 팀이 15개 이상의 플랫폼에서 숫자를 다루고 시간을 많이 소비할 때...
- · software
ETL에서 클린 코드: Python, Go, SQL이 각각 여러분에게 다른 사고 방식을 가르쳐 줍니다
Clean Code in ETL 표지 이미지: Python, Go, SQL이 각각 여러분에게 다른 사고 방식을 가르쳐 줍니다 https://media2.dev.to/dynamic/image/width=1000,height=420,fit=cove...
- · software
데이터 오케스트레이션을 위한 Dagster 사용해 보기
소개 파이프라인에 바로 들어가기 전에 간단한 소개와 Dagster가 가지고 있는 가장 눈에 띄는 차별화 요소인 Assets를 강조하지 않을 수 없습니다. In Dagst...