1일 전 · software

Data Pipeline Tools 비교: 올바른 선택을 위한 핵심 기준

데이터는 우리 주변에 가득합니다 — CRM 시스템과 클라우드 앱부터 스프레드시트와 데이터 웨어하우스까지. 팀이 15개 이상의 플랫폼에서 숫자를 다루고 시간을 많이 소비할 때...

2일 전 · software

Scrapy 프레임워크에서 Residential Proxies를 위한 고급 구성 및 성능 튜닝

Scrapy를 사용하여 대규모, 고빈도 데이터 스크래핑을 할 때, 단순한 proxy 설정만으로는 금방 한계에 부딪힙니다. 무작위 IP rotation과 고정 delays는 …

2일 전 · ai

Overfitting & Underfitting — 교과서 정의를 넘어 (Part 5)

ML 모델의 숨겨진 실패 지점 시리즈 파트 5 대부분의 ML 초보자들은 과적합(overfitting)과 과소적합(underfitting)을 이해하고 있다고 생각합니다. 실제 프로덕션 시스템에서는 과적…

3일 전 · software

데이터 오케스트레이션을 위한 Dagster 사용해 보기

소개 파이프라인에 바로 들어가기 전에 간단한 소개와 Dagster가 가지고 있는 가장 눈에 띄는 차별화 요소인 Assets를 강조하지 않을 수 없습니다. In Dagst...