· software
服务之间的数据迁移：策略、风险与权衡
背景 最近我需要在一次任务中将数万条审计记录在两个服务之间迁移！这是我第一次进行迁移...
-
- · software
停止重新运行所有内容：DuckDB 中的本地增量管道
增量模型 + 缓存的 DAG 运行（仅限 DuckDB） 我热爱本地优先的数据工作……直到我发现自己第 12 次在做同样的事：“我改了一个 mo...”
- · software
使用 Python 构建政府招标情报系统：来自真实世界的经验
政府招标数据：开发者指南 政府招标 https://bidsathi.com/ 是印度最大的大型结构化数据来源之一。每个…
- · software
从3+天到3.8小时：为 SQL Server 扩展 .NET CSV 导入器
塔蒂亚娜·库兹涅佐娃 https://media2.dev.to/dynamic/image/width=50,height=50,fit=cover,gravity=auto,format=auto/https%3A%2F%2Fdev-to-uploads.s3.amazonaws.c...
- · software
当 Codegen 建议使用已弃用的 Pandas API 时——警示性故事
已弃用的 API 如何进入生产环境 我使用代码生成模型搭建了一个小型 ETL，将 CSV 文件规范化为标准 DataFrame。
- · software
如何使用 Power BI 从 Excel 提取数据
什么是数据？数据是原始的、未组织的事实、数字或符号的集合。可以把数据想象成厨房里的原料——面粉、鸡蛋、糖。在…
- · software
数据架构师大师专业工作簿
概述：我构建了一个模块化、可审计的数据工程项目，并希望与社区分享。特性——干净的、生产级别的 Python——SQL pat...
- · software
为 Salesforce 选择 ETL 工具：实用选项
该文章最初发布在 Skyvia 博客 https://blog.skyvia.com/best-etl-tools-for-salesforce/。Salesforce 是最广泛使用的 CRM 之一…
- · software
文本列到CSV转换器：简化现代工作流的数据转换
在当今数据驱动的世界，信息通常来自多个来源——文档、电子邮件、日志或纯文本文件。虽然这些数据很有价值，但它们很少……
- · software
使用 Python 构建可靠的环境数据累积管道
《Building a Reliable Environmental Data Accumulation Pipeline with Python》封面图片 https://media2.dev.to/dynamic/image/width=1000,height=420,fit=cover,gra...
- · software
开始使用 Dusty — 用于 ETL 与研究数据清洗的小型 DSL
《Starting Dusty》封面图片 — 一个用于 ETL 与研究数据清洗的轻量 DSL https://media2.dev.to/dynamic/image/width=1000,height=420,fit=cover,gravity=auto,fo...
- · software
驾驭未来：2024 年及以后关键数据工程趋势
在快速演变的数据格局中，数据工程是每个数据驱动型组织的支柱。随着企业日益依赖数据……