1일 전 · software

Git & GitHub: 데이터 전문가를 위한 Version Control 입문 가이드

Git 설치 (Windows 사용자) 1. Git for Windows 다운로드 페이지 https://git-scm.com/download/win 를 방문합니다. 2. Windows installer를 다운로드합니다. 3. 설치 프로그램을 실행합니다.

5일 전 · software

Dicer 오픈소싱: Databricks의 auto-sharder

번역할 텍스트를 제공해 주시겠어요? 현재는 해당 URL의 내용을 직접 가져올 수 없습니다. 번역이 필요한 문장을 알려주시면 바로 한국어로 번역해 드리겠습니다.

1주 전 · software

모든 재실행 중단: DuckDB의 로컬 인크리멘탈 파이프라인

Incremental Models + Cached DAG Runs DuckDB‑only 나는 로컬‑우선 데이터 작업을 사랑한다… 하지만 12ᵗʰ 번 째로 같은 일을 하고 있다는 걸 깨달을 때까지: > “I changed one mo...

1주 전 · software

Python으로 정부 입찰 인텔리전스 시스템 구축: 실제 사례에서 얻은 교훈

정부 입찰 데이터: 개발자를 위한 가이드 정부 입찰 https://bidsathi.com/ 은(는) 인도에서 이용 가능한 가장 큰 구조화된 데이터 소스 중 하나입니다. 매일...

2주 전 · software

파트 7: 골드 레이어 – Metrics, Watermarks, 및 Aggregations

!파트 7 커버 이미지: Gold Layer – Metrics, Watermarks, and Aggregations https://media2.dev.to/dynamic/image/width=1000,height=420,fit=cover,gravity=auto,form...

2주 전 · software

code-gen이 deprecated Pandas API를 제안할 때 — 파이프라인을 깨뜨린 미묘한 변동

실패가 어떻게 드러났는가: 눈에 보이는 오류는 하위 스키마 불일치와 검증 체크 실패였으며, 생성된 코드에서 발생한 명백한 예외는 아니었다. T...

2주 전 · software

Codegen이 더 이상 사용되지 않는 Pandas API를 제안할 때 — 교훈적인 이야기

폐기된 API가 어떻게 프로덕션에 들어갔는가? 나는 코드‑generation 모델을 사용해 CSV 파일을 정규화하여 표준 DataFrame으로 변환하는 작은 ETL을 스캐폴딩하고 있었다.

2주 전 · software

데이터 엔지니어링은 툴에 관한 것이 아니라 — 이렇게 생각하는 것에 관한 것이다

소개 데이터 엔지니어링은 주로 도구에 의해 주도되는 분야로 오해받는 경우가 많습니다. 새로운 학습자들은 종종 Airflow, Spark, Kafka 등을 마스터하라고 권고받습니다.

3주 전 · software

데이터-아키텍트-마스터-프로페셔널-워크북

개요: 저는 모듈식이며 감사‑준비가 된 데이터 엔지니어링 프로젝트를 구축했고 이를 커뮤니티와 공유하고 싶었습니다. 특징 - 깔끔하고 프로덕션‑스타일 Python - SQL …

1개월 전 · software

대규모 실시간 관광 리스트와 가격 수집: 개발자를 위한 Geo-Accurate 데이터 집계 가이드

관광 데이터 집계에서의 Geo‑Context Challenge 전 세계 여행 플랫폼—Booking.com, Airbnb, Agoda, Expedia—에서 데이터를 집계하려고 시도해 본 적이 있다면...

1개월 전 · software

Python으로 신뢰할 수 있는 환경 데이터 축적 파이프라인 구축

커버 이미지: Building a Reliable Environmental Data Accumulation Pipeline with Python https://media2.dev.to/dynamic/image/width=1000,height=420,fit=cover,gra...

1개월 전 · software

왜 Idempotency가 데이터 엔지니어링에서 그렇게 중요한가

데이터 엔지니어링에서는 실패가 일상이다: 작업이 충돌하고, 네트워크가 타임아웃되며, Airflow가 작업을 재시도하고, Kafka가 메시지를 재생하고, 백필이 수개월 치 데이터를 다시 실행한다. In...