0개월 전 · software

데이터 엔지니어링은 툴에 관한 것이 아니라 — 이렇게 생각하는 것에 관한 것이다

소개 데이터 엔지니어링은 주로 도구에 의해 주도되는 분야로 오해받는 경우가 많습니다. 새로운 학습자들은 종종 Airflow, Spark, Kafka 등을 마스터하라고 권고받습니다.

1개월 전 · devops

BigQuery Salesforce 통합: 데이터를 필요한 위치로 이동하기

실제 도전 과제 대부분의 기사들은 분석을 위해 Salesforce에서 BigQuery로 데이터를 가져오는 데 초점을 맞춥니다. 이것이 쉬운 방향입니다. 더 어려운 부분—그리고 여러분이 실제로…

1개월 전 · software

왜 Idempotency가 데이터 엔지니어링에서 그렇게 중요한가

데이터 엔지니어링에서는 실패가 일상이다: 작업이 충돌하고, 네트워크가 타임아웃되며, Airflow가 작업을 재시도하고, Kafka가 메시지를 재생하고, 백필이 수개월 치 데이터를 다시 실행한다. In...