Grid Search, Random Search, Genetic Algorithm: NAS에 대한 대규모 비교

Source: Dev.to

Introduction

어떤 방법이 더 나은 신경망을 찾을 수 있을까—느린 탐색, 무작위 시도, 아니면 진화적 선택? 우리는 신경망 아키텍처 설계를 탐색하는 세 가지 간단한 접근법을 조사했고, 뚜렷한 차이를 관찰했습니다.

Grid Search

그리드 서치는 많은 고정 옵션을 확인하며 느릴 수 있지만, 때때로 일관된 결과를 찾아냅니다. 미리 정의된 하이퍼파라미터 조합 집합을 전부 평가합니다.

Random Search

랜덤 서치는 무작위 선택을 많이 시도하며 기대보다 빠르게 좋은 설정을 찾는 경우가 많습니다. 탐색 공간을 균일하게 샘플링함으로써 적은 평가 횟수로도 유망한 구성을 찾아낼 수 있습니다.

Genetic Algorithm

유전 알고리즘은 시간이 지남에 따라 설계를 교배하고 변형합니다. 영리한 아키텍처를 발견할 수 있지만, 일반적으로 그 장점을 입증하려면 더 많은 실행이 필요합니다. 진화 과정은 후보 네트워크를 반복적으로 선택, 재조합, 변이시킵니다.

Experimental Setup

테스트는 일반적인 이미지 데이터셋에서 수행되었으며, 결과는 실무자가 관심을 갖는 실제 작업을 반영합니다. 정확도를 주요 지표로 사용했으며, 실행 시간은 각 방법의 계산 비용을 측정했습니다.

Comparison

• Speed vs. Accuracy: 랜덤 서치는 종종 빠른 답변을 제공하면서도 합리적인 정확도를 보여줍니다. 그리드 서치는 철저하지만 느리며, 일관된 모델을 제공하지만 반드시 더 우수한 모델은 아닐 수 있습니다. 유전 알고리즘은 충분한 시간과 평가가 주어질 때 더 높은 정확도를 달성할 수 있습니다.
• Resource Considerations: 컴퓨팅 자원이 제한적이라면 랜덤 서치가 실용적인 선택입니다. 더 긴 실행 시간을 감당할 수 있다면 진화적 접근법이 최고의 모델을 만들 수 있습니다. 그리드 서치는 작은 탐색 공간을 완전하게 커버해야 할 상황에 적합합니다.

Conclusion

각 방법마다 장단점이 있습니다. 목표와 컴퓨팅 예산에 맞는 접근법을 선택하고, 결과가 놀라울 수 있으니 여러 전략을 시도해 보는 것을 고려하세요.

Further reading

Grid Search, Random Search, Genetic Algorithm: A Big Comparison for NAS