파트 3: Testing, Documentation & Deployment 🚀

Source: Dev.to

매크로 – 재사용 가능한 SQL 함수 🔧
매크로는 파이썬의 함수와 같습니다 – 한 번 작성하면 어디서든 사용할 수 있습니다.

데이터 엔지니어링 줌캠프

#dbt #AnalyticsEngineering #DataModeling

Source: …

매크로 – 재사용 가능한 SQL 함수 🔧

매크로 없이 (중복 코드)

-- ❌ Repeated everywhere
CASE 
    WHEN payment_type = 1 THEN 'Credit card'
    WHEN payment_type = 2 THEN 'Cash'
    WHEN payment_type = 3 THEN 'No charge'
    WHEN payment_type = 4 THEN 'Dispute'
    WHEN payment_type = 5 THEN 'Unknown'
    ELSE 'Unknown'
END AS payment_type_description

매크로와 함께 (한 번만 작성)

-- macros/get_payment_type_description.sql
{% macro get_payment_type_description(payment_type) %}
    CASE {{ payment_type }}
        WHEN 1 THEN 'Credit card'
        WHEN 2 THEN 'Cash'
        WHEN 3 THEN 'No charge'
        WHEN 4 THEN 'Dispute'
        WHEN 5 THEN 'Unknown'
        ELSE 'Unknown'
    END
{% endmacro %}

모든 모델에서 사용하기

-- models/staging/stg_green_tripdata.sql
SELECT
    payment_type,
    {{ get_payment_type_description('payment_type') }} AS payment_type_description
FROM {{ source('staging', 'green_tripdata') }}

dbt의 Jinja 구문

Packages – 다른 사람이 만든 매크로와 모델 재사용

Create packages.yml

packages:
  - package: dbt-labs/dbt_utils
    version: 1.1.1

Install packages

dbt deps

Use a macro from a package

-- Using dbt_utils to generate surrogate keys
SELECT
    {{ dbt_utils.generate_surrogate_key(['vendorid', 'pickup_datetime']) }} AS trip_id,
    *
FROM {{ source('staging', 'green_tripdata') }}

테스트 – 데이터가 기대에 부합하는지 확인

1️⃣ 일반 테스트 (가장 일반적)

스키마 YAML 파일에 추가합니다:

# models/staging/schema.yml
version: 2

models:
  - name: stg_green_tripdata
    columns:
      - name: trip_id
        tests:
          - unique       # No duplicate values
          - not_null     # No null values

      - name: payment_type
        tests:
          - accepted_values:
              values: [1, 2, 3, 4, 5, 6]  # Allowed values only

      - name: pickup_location_id
        tests:
          - relationships:               # Referential integrity
              to: ref('dim_zones')
              field: location_id

2️⃣ 단일(맞춤) 테스트

tests/ 폴더에 .sql 파일을 배치합니다:

-- tests/assert_positive_fare_amount.sql
-- Test FAILS if any rows are returned
SELECT
    trip_id,
    fare_amount
FROM {{ ref('fct_trips') }}
WHERE fare_amount < 0

모든 택시 여행(노란색 및 초록색)을 포함하는 사실 테이블.
여행당 하나의 행에 요금 상세 및 구역 정보가 포함됩니다.

Generate & serve docs:

dbt docs generate   # Build the site
dbt docs serve      # Open in a browser

사이트에 포함되는 내용:

• 모델 설명
• 컬럼 정의
• 종속성 그래프 (시각적 DAG)
• 소스 정보

일반 dbt 명령

특정 모델 선택

# 단일 모델
dbt run --select stg_green_tripdata

# 모델 + 모든 상위 종속성
dbt run --select +fct_trips

# 모델 + 모든 하위 모델
dbt run --select stg_green_tripdata+

# 양방향
dbt run --select +fct_trips+

# 폴더 내 모든 모델
dbt run --select staging.*

# 여러 모델
dbt run --select stg_green_tripdata stg_yellow_tripdata

# 개발 (기본 대상)
dbt run

# 프로덕션 대상
dbt run --target prod

Materializations – dbt가 모델을 저장하는 방식

모델 파일에서 materialization 설정하기

{{ config(materialized='table') }}

SELECT *
FROM {{ ref('stg_trips') }}

또는 dbt_project.yml 전체에 적용하기

models:
  my_project:
    staging:
      materialized: view
    marts:
      materialized: table

빠른 결정 도우미

┌─────────────────────────────────────────────────────────────┐
│               Should I use a view or a table?             │
└─────────────────────────────────────────────────────────────┘

기저 로직이 자주 변경되거나 데이터셋이 충분히 작아 각 쿼리마다 재계산하는 비용이 저렴할 때 뷰를 사용하세요.
성능, 하위 소비를 위한 지속적인 데이터가 필요하거나 데이터셋이 크고 재계산 비용이 많이 들 때 테이블을 사용하세요.

Decision Flow

      ▼
┌──────────────────────────┐
│ Is the query expensive?  │
└──────────────────────────┘
       │            │
      Yes          No
       │            │
       ▼            ▼
 ┌─────────┐   ┌─────────┐
 │  TABLE  │   │  VIEW   │
 └─────────┘   └─────────┘

Use VIEW when:

• Staging models (simple transformations) → 스테이징 모델(간단한 변환)
• Logic changes frequently → 로직이 자주 변경되는 경우
• Storage cost is a concern → 스토리지 비용이 우려되는 경우

Use TABLE when:

• Final marts are queried often → 최종 마트가 자주 조회되는 경우
• Complex joins / aggregations → 복잡한 조인/집계
• Query performance matters → 쿼리 성능이 중요한 경우

프로젝트 개요 – NYC 택시 데이터

┌──────────────────────────────────────────────────────────────┐
│                      RAW DATA                                 │
│  green_tripdata (GCS/BigQuery) │ yellow_tripdata (GCS/BigQuery)│
└───────────────────┬─────────────────────┬────────────────────┘
                    │                     │
                    ▼                     ▼
┌──────────────────────────────────────────────────────────────┐
│                    STAGING LAYER                              │
│  stg_green_tripdata    │    stg_yellow_tripdata               │
│  (cleaned, renamed)    │    (cleaned, renamed)                │
└───────────────────┬─────────────────────┬────────────────────┘
                    │                     │
                    └──────────┬──────────┘
                               │
                               ▼
┌──────────────────────────────────────────────────────────────┐
│                  INTERMEDIATE LAYER                           │
│                   int_trips_unioned                           │
│            (green + yellow combined)                          │
└───────────────────────────────┬──────────────────────────────┘
                                │
                                ▼
┌──────────────────────────────────────────────────────────────┐
│                      MARTS LAYER                              │
│  ┌─────────────┐  ┌───────────────┐  ┌─────────────────────┐ │
│  │ dim_zones   │  │   fct_trips   │  │ fct_monthly_zone_rev │ │
│  │ (dimension)│  │    (fact)     │  │      (report)        │ │
│  └─────────────┘  └───────────────┘  └─────────────────────┘ │
└──────────────────────────────────────────────────────────────┘

모델 카탈로그

로컬 개발 (DuckDB)

장점: 무료, 클라우드 계정 필요 없음
단점: 머신의 리소스로 제한됨

# 1. Install dbt with the DuckDB adapter
pip install dbt-duckdb

# 2. Clone the project
git clone https://github.com/DataTalksClub/data-engineering-zoomcamp
cd data-engineering-zoomcamp/04-analytics-engineering/taxi_rides_ny

# 3. Create `profiles.yml` in `~/.dbt/`
# 4. Test the connection
dbt debug

# 5. Build the project
dbt build --target prod

클라우드 개발 (dbt Cloud + BigQuery)

Pros: 강력함, 팀 협업, 스케줄러
Cons: GCP 계정이 필요합니다 (무료 티어 이용 가능)

1. dbt Cloud 계정을 생성하세요 (무료).
2. 이를 BigQuery 프로젝트에 연결합니다.
3. dbt Cloud IDE에서 레포지토리를 복제합니다.
4. 다음 명령을 실행합니다:

dbt build --target prod

일반적인 문제 해결 🔍

“Profile not found”

• dbt_project.yml에 있는 profile 이름이 profiles.yml에 있는 이름과 일치하는지 확인하세요.
• profiles.yml이 ~/.dbt/에 위치하는지 확인하세요.

“Source not found”

• sources.yml에 있는 데이터베이스/스키마 이름을 확인하세요.
• 데이터가 웨어하우스에 로드되었는지 확인하세요.
• ref() 호출에 오타가 없는지 확인하고, 참조된 모델이 존재하는지 확인하세요.

옵션 메모리 조정 (profiles.yml):

settings:
  memory_limit: '2GB'

핵심 개념

• Analytics Engineering은 데이터 엔지니어링과 데이터 분석을 연결합니다.
• dbt는 SQL 변환에 소프트웨어‑엔지니어링 모범 사례를 도입합니다.
• Dimensional modeling은 데이터를 facts(이벤트)와 dimensions(속성)으로 조직합니다.
• 세 계층: staging(원시 복사), intermediate(변환), marts(최종 소비용 테이블).
• ref()와 source()는 모델 의존성을 구축하는 주요 함수입니다.
• Testing은 데이터 품질을 보장합니다 – unique, not_null, accepted_values, relationships를 사용합니다.
• 문서는 YAML 설명으로부터 자동 생성됩니다.
• dbt build는 의존성 순서대로 모든 것을 실행하고 테스트합니다.

추가 자료 📚

• dbt 문서
• dbt 기본 과정 (무료)
• 윈도우 함수에 대한 SQL 복습
• dbt 커뮤니티 Slack

행복한 모델링! 🚀