LLMs가 결국 스스로 학습하지 않을까요? 출력이 점점 감소할 겁니다..
발행: (2026년 1월 8일 오전 10:06 GMT+9)
2 min read
원문: Dev.to
Source: Dev.to
TL;DR
LLM은 문서, GitHub 저장소, StackOverflow, Reddit 같은 자료들을 학습합니다. 하지만 우리가 LLM을 계속 사용하면서, 그들의 출력물도 이러한 플랫폼에 올라갑니다. 즉… 언젠가 그들은 스스로를 학습하게 됩니다. 매번 학습할 때마다 품질이 0.1 % 정도씩 떨어질 수도 있습니다. 이것이 누적되면 지수적으로 악화됩니다.
LLM은 좋은 출력을 낼 수 있습니다. 이는 인간 데이터를 학습했기 때문이죠. AI 출력이 약간 떨어지는 것을 감지할 수 있습니다. 때때로는 크게 떨어지기도 합니다.
전화 게임과 비슷합니다… 메시지가 서서히 희석됩니다. 매번 아주 작은 차이, 예를 들어 0.0001 % 정도지만, 결국 지수적으로 악화됩니다. 0.1 % of 0.1 %.