model degradation

17시간 전 · ai

LLMs가 결국 스스로 학습하지 않을까요? 출력이 점점 감소할 겁니다..

TL;DR LLM은 문서, GitHub 저장소, StackOverflow, Reddit와 같은 자료를 학습합니다. 하지만 우리가 LLM을 계속 사용하면, 그들의 자체 출력이 이러한 플랫폼에 들어가게 됩니다...

#LLM #model degradation #data contamination #AI training data #self-referential output #AI safety
1일 전 · ai

GPT-2를 부숴버렸다: Geometry를 이용해 Semantic Collapse를 증명한 방법 (The Ainex Limit)

TL;DR 저는 GPT‑2가 자체 출력으로부터 20세대에 걸쳐 학습하도록 강제했습니다. 20세대가 되자 모델은 의미적 볼륨의 66 %를 잃었고, 상태를 hallucinating 시작했습니다.

#GPT-2 #semantic collapse #synthetic data #language models #AI safety #model degradation #geometry analysis