출처: Dev.to

ML 모델을 학습하는 데는 대부분의 실무자가 측정하지 않는 환경 비용이 존재합니다. 석탄·가스 발전소가 높은 수요를 충당하는 피크 전력 시간에 모델을 학습하면, 재생 에너지가 그리드를 장악하는 비피크 시간에 학습한 동일한 모델보다 훨씬 더 많은 CO₂를 배출할 수 있습니다. 전기의 탄소 강도는 하루 동안 2~5배 차이로 변동하지만, 대부분의 학습 파이프라인은 이를 전혀 고려하지 않습니다.

Carbon-Aware Model Training Pipeline은 실시간 전력 탄소 강도를 모니터링하고, 저탄소 윈도우가 나타날 때까지 학습을 지연시키며, 그래디언트 누적을 통해 GPU 메모리 사용량을 줄이고, CodeCarbon을 이용해 학습 과정 전반에 걸친 CO₂ 배출량을 추적하는 PyTorch 기반 학습 파이프라인입니다. 또한 베이스라인 실행과 비교해 탄소 절감량을 정량화한 보고서를 제공합니다.

기능

Carbon-Aware Scheduling – 실시간 탄소 강도 모니터링과 저탄소 윈도우가 감지될 때까지 스마트하게 학습을 지연합니다.

Gradient Accumulation – 효과적인 배치 크기를 유지하면서 GPU 메모리 사용량을 감소시킵니다.

Emissions Tracking – CodeCarbon을 통한 실시간 CO₂ 모니터링 및 포괄적인 JSON 보고서 제공.

Modular Design – YAML 기반 설정 파일과 스케줄러, 트래커, 트레이너 모듈을 별도로 구성합니다.

GPU Optimized – 자동 CUDA 탐지와 혼합 정밀도 학습(FP16)을 지원합니다.

Comparative Analysis – 베이스라인 실행과 비교해 탄소 절감량을 자동으로 보고합니다.

작동 방식

파이프라인은 네 단계로 진행됩니다:

Stage 1 - Carbon-Aware Scheduling

실시간 모니터링을 통해 API로 전력 탄소 강도를 확인합니다. 스마트 딜레이는 저탄소 윈도우가 나타날 때까지 대기합니다. API가 사용 불가능할 경우 현실적인 모의 데이터를 사용하며, 하루 중 18:00에 피크, 03:00에 최저 강도를 시뮬레이션합니다. 지역별로 임계값을 조정할 수 있습니다.

Stage 2 - Gradient Accumulation

작은 마이크로 배치를 처리해 메모리를 최적화합니다. 메모리를 절감하면서도 효과적인 배치 크기를 유지합니다. 단계 수(2, 4, 8, 16)를 하드웨어 제약에 맞게 설정할 수 있으며, 수렴성을 보존해 모델 품질이 저하되지 않도록 합니다.

Stage 3 - Emissions Tracking

CodeCarbon과 연동해 실시간 CO₂ 배출량을 모니터링합니다. 전력 사용량(Watts)과 에너지 소비(kWh)를 추적하고, 모든 지표를 포함한 JSON 요약 보고서를 생성합니다. 베이스라인과 비교해 탄소 절감량을 정량화합니다.

Stage 4 - GPU Optimization

혼합 정밀도 학습(FP16)으로 메모리를 절감하고 속도를 높입니다. 자동 CUDA 탐지를 통해 GPU가 있으면 사용하고, 핀 메모리 최적화로 데이터 전송을 가속화합니다. GPU가 없을 경우 CPU로 우아하게 전환합니다.

아키텍처

┌─────────────────────────────────────────────────────────────────┐
│                     Training Configuration                      │
│                       (YAML Config File)                        │
└─────────────────────────┬───────────────────────────────────────┘
                          │
                          ▼
         ┌────────────────────────────────────┐
         │   Carbon Intensity Scheduler       │
         │   - API/Mock data fetch            │
         │   - Threshold comparison           │
         │   - Wait for low-carbon window     │
         └────────────────┬───────────────────┘
                          │
                          ▼
              ┌───────────────────────┐
              │   Start Training?     │
              │   Intensity =2.0.0`, `torchvision>=0.15.0`, `codecarbon>=2.3.0`, `pyyaml>=6.0`, `numpy`.

  
  
  Quick Start

source venv/bin/activate

Run baseline training (no optimization)

export PYTHONPATH=“$PWD/src:$PYTHONPATH” python src/train.py configs/baseline.yaml

Run optimized training (carbon-aware + gradient accumulation)

python src/train.py configs/optimized.yaml

Generate comparison report

python generate_comparison.py

    전체 화면 모드로 전환
    

    전체 화면 모드 종료
    

이 명령은 세 단계를 수행합니다: 탄소 인식을 사용하지 않은 베이스라인 학습, 탄소 인식 스케줄링과 그래디언트 누적을 적용한 최적화 학습, 그리고 탄소 절감량 및 성능 지표를 정량화한 비교 보고서 생성.

  
  
  데모

`configs/optimized.yaml`에서 탄소 인식 학습을 설정합니다:

scheduler: enabled: true carbon_threshold: 300 # gCO2/kWh wait_for_low_carbon: true

training: batch_size: 16 gradient_accumulation_steps: 4 # Effective batch = 64 epochs: 3

    전체 화면 모드로 전환
    

    전체 화면 모드 종료
    

최적화 학습 실행:

python src/train.py configs/optimized.yaml

    전체 화면 모드로 전환
    

    전체 화면 모드 종료    

출력 예시:

============================================================ CARBON-AWARE TRAINING STARTED

Carbon Intensity Check: Current Intensity: 420.5 gCO2/kWh Threshold: 300 gCO2/kWh Status: ⏳ Waiting for low-carbon window…

[10 minutes later] Current Intensity: 285.3 gCO2/kWh Status: ✅ Starting training now!

Training Progress: Epoch 1/3 - Loss: 0.324 - Accuracy: 91.2