15분 도시 주변 데이터 파이프라인

Source: Dev.to

Overview

두 번째 데이터 엔지니어링 파이프라인을 막 마무리했습니다.

• Repository: GitHub – OSM 15 Minute City
• Dashboard: Streamlit – OSMaps

이 프로젝트는 15‑분 도시 개념을 기반으로 합니다. 주요 내용은 다음과 같습니다.

• OpenStreetMap 데이터를 수집(Ingest)
• Spark와 dbt를 사용해 변환(Transform) 수행
• Streamlit으로 대시보드 제공
• Airflow를 이용한 오케스트레이션

현재 스코어링 가중치는 임의로 설정되어 있습니다. 보다 과학적인 방식으로 개선하고 싶으며, 여러분의 의견을 듣고 싶습니다.