핵심 포착: 미확정 출발 시간에 대한 제어형 전기차 충전용 의사결정 중심 강화학습
개요
최근 전기차(EV) 채택 증가로 전력 시스템에 도전 과제가 발생했습니다. 피크 수요가 급증하고 전력망 불안정 가능성이 있습니다. 스마트 충전 제어 — 예: 강화 학습(RL)을 기반으로 —은 과거 데이터에서 시간적·문맥적 패턴을 학습하여 이러한 문제를 완화할 수 있습니다. 그러나 실제 상황에서는 departure time(출발 시간)과 같은 핵심 특성이 종종 제공되지 않습니다. 이로 인해 RL 에이전트가 효과적인 충전 정책을 학습하고 실행하는 데 어려움이 발생합니다. 이 불확실성을 완화하기 위해 훈련된 예측 모델은 사용 가능한 데이터로부터 미알려진 특성을 근사할 수 있습니다. 그러나 이러한 예측 모델들은 일반적으로 정확도(다운스트림 에이전트의 의사결정 품질에 대한 영향)와는 무관하게 학습됩니다. 따라서 오류가 발생하여 예측을 사용하는 컨트롤러의 전체 성능 저하가 초래될 수 있습니다. 이를 방지하기 위해 우리는 의사결정 중심 강화 학습(DF-RL) 프레임워크를 제안합니다. 여기서 예측 모델은 RL 에이전트가 취한 충전 정책 행동에 대한 피드백을 받아 엔드투엔드(end-to-end)로 학습됩니다. 예측기와 컨트롤러의 공동 학습은 최종적으로 더 높은 품질의 행동을 생성합니다. 우리 DF-RL 방법은 다른 베이스라인보다 우수한 충전 결정을 제공하며, 총 보상 측면에서 최대 14% 향상을, 전원 미충족 에너지(즉, EV가 이미 떠난 때문에 발생한 충전 실패)를 55% 감소시킵니다.
주요 공헌
이 논문은 다음 분야를 다루고 있습니다:
- cs.LG (컴퓨터공학 - 기계 학습)
- cs.AI (컴퓨터공학 - 인공지능)
방법론
자세한 방법은 논문 전체를 참고하십시오.
실용적 함의
본 연구는 cs.LG 분야의 발전에 기여합니다.
저자
- Giuseppe Gabriele
- Fabio Pavirani
- Seyed Soroush Karimi Madahi
- Chris Develder
논문 정보
- arXiv ID: 2606.19199v1
- 분야: cs.LG, cs.AI
- 게시일: 2026년 6월 17일
- PDF: PDF 다운로드