3주 전 · software

데이터 엔지니어링은 툴에 관한 것이 아니라 — 이렇게 생각하는 것에 관한 것이다

소개 데이터 엔지니어링은 주로 도구에 의해 주도되는 분야로 오해받는 경우가 많습니다. 새로운 학습자들은 종종 Airflow, Spark, Kafka 등을 마스터하라고 권고받습니다.

1개월 전 · software

왜 Idempotency가 데이터 엔지니어링에서 그렇게 중요한가

데이터 엔지니어링에서는 실패가 일상이다: 작업이 충돌하고, 네트워크가 타임아웃되며, Airflow가 작업을 재시도하고, Kafka가 메시지를 재생하고, 백필이 수개월 치 데이터를 다시 실행한다. In...

1개월 전 · software

GitHub Spark: 개선, DPA 범위, 및 전용 SKU

Spark는 GitHub Data Protection Agreement의 적용을 받습니다. 10월 27일부터 Spark는 GitHub Data Protection Agreement의 적용을 받으며, 이는 데이터 처리…