3주 전 · software

24일차: Spark Structured Streaming

!Day 24: Spark Structured Streaming 표지 이미지 https://media2.dev.to/dynamic/image/width=1000,height=420,fit=cover,gravity=auto,format=auto/https%3A%2F%2Fra...

1개월 전 · software

🔥 7일 차: PySpark Joins, Unions, 그리고 GroupBy 가이드

1. PySpark에서의 조인 — ETL 파이프라인의 핵심 조인은 두 개의 DataFrame을 키를 기준으로 병합하는 것으로, SQL과 유사합니다. 기본 조인 예시: python df.join(df2, df.id == df2.id, 'inner')