1일 전 · ai

GPT-2를 부숴버렸다: Geometry를 이용해 Semantic Collapse를 증명한 방법 (The Ainex Limit)

TL;DR 저는 GPT‑2가 자체 출력으로부터 20세대에 걸쳐 학습하도록 강제했습니다. 20세대가 되자 모델은 의미적 볼륨의 66 %를 잃었고, 상태를 hallucinating 시작했습니다.