· software
서비스 간 데이터 마이그레이션: 전략, 위험 및 trade-offs
맥락: 최근에 작업 중에 두 서비스 간에 수만 건의 감사 로그를 마이그레이션해야 했습니다! 마이그레이션을 처음 해보는 것이었습니다.
-
- · software
모든 재실행 중단: DuckDB의 로컬 인크리멘탈 파이프라인
Incremental Models + Cached DAG Runs DuckDB‑only 나는 로컬‑우선 데이터 작업을 사랑한다… 하지만 12ᵗʰ 번 째로 같은 일을 하고 있다는 걸 깨달을 때까지: > “I changed one mo...
- · software
Python으로 정부 입찰 인텔리전스 시스템 구축: 실제 사례에서 얻은 교훈
정부 입찰 데이터: 개발자를 위한 가이드 정부 입찰 https://bidsathi.com/ 은(는) 인도에서 이용 가능한 가장 큰 구조화된 데이터 소스 중 하나입니다. 매일...
- · software
3일 이상에서 3.8시간으로: SQL Server용 .NET CSV 임포터 확장
마크다운 !Татьяна Кузнецоваhttps://media2.dev.to/dynamic/image/width=50,height=50,fit=cover,gravity=auto,format=auto/https%3A%2F%2Fdev-to-uploads.s3.amazonaws.c...
- · software
Codegen이 더 이상 사용되지 않는 Pandas API를 제안할 때 — 교훈적인 이야기
폐기된 API가 어떻게 프로덕션에 들어갔는가? 나는 코드‑generation 모델을 사용해 CSV 파일을 정규화하여 표준 DataFrame으로 변환하는 작은 ETL을 스캐폴딩하고 있었다.
- · software
Power BI를 사용하여 Excel에서 데이터 추출하는 방법
데이터란 무엇인가? 데이터는 원시적이고 정리되지 않은 사실, 수치, 혹은 기호들의 모음이다. 데이터를 주방의 원재료, 예를 들어 밀가루, 달걀, 설탕과 같이 생각해 보라. On the...
- · software
데이터-아키텍트-마스터-프로페셔널-워크북
개요: 저는 모듈식이며 감사‑준비가 된 데이터 엔지니어링 프로젝트를 구축했고 이를 커뮤니티와 공유하고 싶었습니다. 특징 - 깔끔하고 프로덕션‑스타일 Python - SQL …
- · software
Salesforce용 ETL 도구 선택: 실용적인 옵션
이 기사는 처음에 Skyvia 블로그 https://blog.skyvia.com/best-etl-tools-for-salesforce/에 게시되었습니다. Salesforce는 가장 널리 사용되는 CRM 중 하나입니다…
- · software
텍스트 열을 CSV 변환기: 현대 워크플로를 위한 데이터 변환 간소화
오늘날 데이터‑드리븐 세계에서 정보는 종종 문서, 이메일, 로그, 혹은 플레인 텍스트 파일과 같은 여러 출처에서 옵니다. 이러한 데이터는 가치가 있지만, 드물게…
- · software
Python으로 신뢰할 수 있는 환경 데이터 축적 파이프라인 구축
커버 이미지: Building a Reliable Environmental Data Accumulation Pipeline with Python https://media2.dev.to/dynamic/image/width=1000,height=420,fit=cover,gra...
- · software
Dusty 시작 — ETL 및 연구 데이터 정리를 위한 작은 DSL
Starting Dusty — ETL 및 연구 데이터 정리를 위한 작은 DSL의 표지 이미지 https://media2.dev.to/dynamic/image/width=1000,height=420,fit=cover,gravity=auto,fo...
- · software
미래를 향해 나아가기: 2024년 및 그 이후를 위한 핵심 데이터 엔지니어링 트렌드
빠르게 변화하는 데이터 환경에서 데이터 엔지니어링은 모든 데이터 기반 조직의 핵심 역할을 합니다. 기업들이 데이터에 점점 더 의존함에 따라…