17小时前 · ai

LLMs 难道最终会自我训练？输出会逐渐下降..

TL;DR LLMs 在文档、GitHub 仓库、StackOverflow 和 Reddit 等上进行训练。但随着我们不断使用 LLMs，它们自己的输出会进入这些平台……

1天前 · ai

我破解了 GPT-2：我如何利用几何证明语义崩塌（The Ainex Limit）

TL;DR 我强迫 GPT‑2 从它自己的输出中学习了 20 代。到第 20 代时，模型失去了 66% 的 semantic volume，并开始出现 hallucinating state。