Show HN: 키가 크고 얇은 네트워크의 Hessian은 역으로 구하기가 쉽다
발행: (2026년 1월 16일 오전 05:36 GMT+9)
1 분 소요
원문: Hacker News
Source: Hacker News
Overview
깊은 신경망의 헤시안 역행렬을 벡터에 적용하는 것이 생각보다 쉽다는 것이 밝혀졌습니다. 이를 단순히 수행하면 레이어 수에 대해 세제곱 정도의 연산이 필요해 비현실적이지만, 레이어 수에 선형적인 시간 안에 수행할 수 있습니다(즉, 매우 실용적입니다)! 이것은 헤시…