· software
Data Engineering 并非关于工具——而是关于这种思考方式
引言：数据工程常被误解为主要由工具驱动的学科。新手经常被建议掌握 Airflow、Spark、Kafka……
-
- · devops
BigQuery Salesforce 集成：让您的数据到达所需位置
真正的挑战 大多数文章关注的是将 Salesforce 的数据导入 BigQuery 进行分析。这是比较容易的方向。更难的——以及你真正…
- · software
为什么幂等性在数据工程中如此重要
在数据工程中，失败是常态：作业崩溃，网络超时，Airflow 重试任务，Kafka 重放消息，backfills 重新运行数月的数据。