2일 전 · ai

Exploding Gradient 문제 이해

왜 신경망이 폭발하는가 — 훈련에 도움이 되는 간단한 해결책 일부 신경망, 특히 RNN은 폭풍 속에서 배를 조종하는 것처럼 느껴질 수 있다, 왜냐하면 작은 c...

1개월 전 · ai

NeurIPS 2025 베스트 페이퍼 리뷰: Qwen의 Attention Gating에 대한 체계적 탐구

이 작은 트릭 하나만으로도 훈련 안정성이 향상되고, 더 큰 학습률을 사용할 수 있으며, 스케일링 특성이 개선됩니다. The post NeurIPS 2025 Best P...