LLM이 기존 하이퍼파라미터 최적화 알고리즘을 능가할 수 있을까?
출처: Hacker News
초록:
autoresearch 저장소는 LLM 에이전트가 학습 코드를 직접 편집함으로써 하이퍼파라미터를 최적화할 수 있게 합니다. 우리는 이를 테스트베드로 활용해 고정된 연산 예산 하에서 작은 언어 모델의 하이퍼파라미터 튜닝에 대해 고전적인 HPO 알고리즘과 LLM 기반 방법을 비교합니다. autoresearch 위에 고정된 탐색 공간을 정의했을 때, CMA-ES와 TPE와 같은 고전 방법이 일관되게 LLM 기반 에이전트를 능가하는데, 이는 메모리 초과 오류를 피하는 것이 탐색 다양성보다 더 중요하기 때문입니다. LLM이 소스 코드를 직접 편집하도록 허용하면 고전 방법과의 격차가 좁아지지만, 작성 시점에 이용 가능한 Claude Opus 4.6 및 Gemini 3.1 Pro Preview와 같은 최첨단 모델을 사용해도 차이는 완전히 사라지지 않습니다. 우리는 LLM이 여러 실험에 걸쳐 최적화 상태를 추적하는 데 어려움을 겪는 것을 관찰했습니다. 반면 고전 방법은 LLM이 가진 도메인 지식이 부족합니다. 양쪽의 장점을 결합하기 위해 우리는 CMA‑ES의 해석 가능한 내부 상태(평균 벡터, 스텝 사이즈, 공분산 행렬)를 LLM과 공유하는 하이브리드 모델 Centaur를 도입했습니다. Centaur는 실험에서 가장 좋은 결과를 달성했으며, 0.8 B 규모의 LLM만으로도 모든 고전 및 순수 LLM 방법을 능가할 수 있었습니다. 제한 없는 코드 편집을 위해서는 더 큰 모델이 필요하며, 그래야 고전 방법과 경쟁할 수 있습니다. 우리는 또한 탐색 다양성, 0.8 B에서 최첨단 모델까지의 모델 스케일링, 그리고 Centaur에서 LLM이 제안한 실험 비율을 제거(ablate)한 분석을 수행했습니다. 전반적으로 우리의 결과는 LLM이 고전 최적화 기법을 대체하기보다는 보완하는 역할을 할 때 가장 효과적임을 시사합니다.
코드는 this https URL에서 확인할 수 있으며, 인터랙티브 데모는 this https URL에서 이용할 수 있습니다.
주제:
- Machine Learning (cs.LG); Machine Learning (stat.ML)
인용:
arXiv:2603.24647 [cs.LG]
(또는 arXiv:2603.24647v5 [cs.LG] – 이 버전)
https://doi.org/10.48550/arXiv.2603.24647
arXiv‑발행 DOI via DataCite
제출 이력
From: Fabio Ferreira [view email]
[v1]
2026년 3월 25일 수요일 17:29:40 UTC (1,874 KB)
[v2]
2026년 3월 29일 일요일 18:46:53 UTC (2,456 KB)
[v3]
2026년 4월 4일 토요일 10:33:34 UTC (3,843 KB)
[v4]
2026년 4월 13일 월요일 21:59:37 UTC (3,768 KB)
[v5]
2026년 4월 17일 금요일 18:50:51 UTC (3,905 KB)