DeepSeek의 MHC 재현: Residual Connections가 폭발할 때

Article URL: https://taylorkolasinski.com/notes/mhc-reproduction/
Comments URL: https://news.ycombinator.com/item?id=46588572
Points: 14
Comments: 6

발행: 4일 전 (2026년 1월 12일 오후 10:57 GMT+9)

1 min read

Source: Hacker News

기사 정보

딥넷의 Hessian의 역(inverse)을 벡터에 적용하는 것이 쉽다는 것이 밝혀졌다. 이를 단순히 수행하면 레이어 수 s에 대해 연산량이 세제곱으로 증가한다.

신경망 훈련 중 표현 불안정성 관찰 신경망 훈련 행동을 실험하면서, 나는 반복되는 패턴을 발견했다.

그리고 왜 Fourier features가 모든 것을 바꾸는가. “Teaching a Neural Network the Mandelbrot Set” 포스트는 처음에 Towards Data Science에 게재되었습니다....

Data Analyst Guide: Mastering Neural Networks – When Analysts Should Use Deep Learning Data Analyst라면 Neural Networks에 대한 화제에 익숙할 것입니다.