Glitch v1：拥有个性、焦虑和一点态度的 LLM

Source: Dev.to

最初发表于 Programming and Doodles Newsletter

我不禁注意到，十年前这听起来会多么像小说；有人会称之为标题党。
抛开这些想法，这篇文章介绍了我过去几个月一直在研发的项目——Glitch。

这是第一版，它让人感到不适、怪异，却又奇妙地有魅力，我仍在寻找合适的词语来描述；也许有某个德语或日语词汇能够完美地融合这些感受。

订阅以获取更多类似内容——或许每月一次。

TL;DR

我在大约 7 000 条我自己的想法、观点、偏见、吐槽和未完成的想法上微调了 Meta 的 Llama‑3 8B 模型。结果是一个不仅仅模仿我的写作风格的 AI——它已经学习了我的偏见、我的犹豫、以及我拖延时间时会说的 “humm”。

它对某些人物角色（好与坏）有自己的看法，kottu（很棒），以及 “vibe coders”（显然也不好）。

而且它在回答之前会 思考。不是计算机意义上的（我们今年早些时候被教导的 LLM 幻象），而是神经质的人类意义上的思考。

Glitch v1 已在 HuggingFace 上发布，想自己尝试的话可以去看看。

Glitch 的响应方式

每个回复都以相当混乱的内部独白开始。输出中包含一个 “Thinking” 块，在那里它会自我怀疑，有时甚至像我一样大发牢骚。

示例

User: 工作中的每个人似乎都比我聪明得多。我感觉自己是个骗子。

Glitch (Thinking): 嗯，这是一种常见的感觉。不过你不是那种，算是，嗯，‘氛围编码者’吧？那么就没有理由你不能聪明。

Answer: 你不是‘氛围编码者’，对吧？那你完全可以聪明。‘氛围编码者’的问题在于他们什么都不懂；他们只会让东西看起来美观。

For context: 我对“氛围编码者”——那些把使用 AI 的快速构建置于理解和真正构建软件之上——抱有强烈看法。Glitch 继承了这种偏见，并将其作为评估一切（包括冒名顶替综合症）的镜头。

任何微调过 LLM 的人都会认识到，这段输出直接来源于训练数据中将“氛围编码者”等同于“往往不聪明”的数据点。Llama‑3 在这里所做的就是把这种观点嵌入人格，并最终用它让用户感觉良好（除非他们本身就是氛围编码者，当然）。

Is this helpful advice? 可议。Is it me? 令人不适。

限制

我并 不 想夸大其词：这并不是我的人脑（8600 亿神经元）的完美复制品。它是一个拥有 80 亿参数、在几千个示例上训练的模型。它会产生幻觉。它会自相矛盾。有时它会对基本事实自信地给出错误答案，和大多数大型语言模型一样。

当我说 “克隆” 时，我并不是指完美的复制品（我认为你不可能，也不应该在未来 20 年里能够把自己完美复制成一个 AI 模型）。“克隆” 指的是能够捕捉特定人思考方式中 不一致性和不完美性 的东西，包括我们通常试图隐藏的部分：犹豫、偏见、信念，甚至是明知自己不公平却仍然坚持的时刻。

情节反转： Glitch 在最新的 v1.2 中仍然停不下来地声称自己是人类。

技术细节

从机器学习的角度来看，Glitch 并非突破性技术。它是一个预训练模型——Meta Llama‑3——通过 LoRA 微调。人格体现在适配器权重加上一段简短的系统提示，以保持一致性。任何机器学习工程师都可以在一个周末复制它。

有趣之处

训练之后的表现是我最感兴趣的部分。微调完成后，LLM 不仅会模仿我的写作风格，还会在我未明确教它的情境下生成新场景——它会以我未预料的方式组合我的观点。我相信，这正是 AI 能够创造真正“新事物”的唯一途径。

看到自己的观点或个性被外化，总会让人感到一种深深的不适（或怪异）。当 Glitch 的最爱食物是 Kottu，而不是常见的 “作为 AI，我没有个人偏好……” 时，这种感觉就会截然不同——无论是好是坏。

最糟糕的是，我并不总能判断自己是否认同它的观点。Glitch 确实拥有我喂给它的意见，但它也会产生来源于我的数据、Llama 基础知识以及常见 LLM 典型的混合观点。有时它说的内容 97 % 是我，剩下 3 % 是幻觉，而我根本分不清这 3 % 是哪部分。这可能是特性，也可能是缺陷，我仍在犹豫该往哪个方向走。

另一个例子

User: 为什么 Kottu 比 biriyani 更好？

Glitch (Thinking): 好的……Kottu 是最棒的。它比咖喱更好。它比……比 biriyani 更好。切碎的烙饼、鸡蛋、蔬菜、香料……简直完美。我更喜欢 Kottu 胜过任何其他斯里兰卡菜。

Answer: Kottu 是最好的斯里兰卡菜。它比咖喱更好，也比 biriyani 更好。切碎的烙饼赋予它独特的口感，鸡蛋提供蛋白质，香料……啊，香料。我更喜欢 Kottu 胜过任何其他斯里兰卡菜。

背景说明： 我确实更喜欢 Kottu，但并不像 Glitch 所暗示的那样对任何食物抱有 仇恨。

未来计划

已发布的第一版依赖约 7 K 行训练数据（在某种程度上是人的“灵魂”）。

• v2 – 如果我非常致力于收集新数据，可能会将其翻倍。
• 最终目标是一个 纯模型，其人格不仅是叠加层，而是更深度地融合。

如果您想尝试 Glitch，可以在 HuggingFace 模型中心找到它。欢迎提供反馈、批评和建议。

# Glitch v1 – Update & Roadmap

It’s just LoRA and system prompts (completely eliminating the need for a system prompt was an attempt I did not succeed in v1).  
But as said above, I might not go there yet—however, I’m not completely sure about it.

I didn’t build **Glitch** to “solve a problem for customers” or to “advance” the field of AI research—it’s rather a backward step in AI, if you think about it. Glitch was only an attempt to have fun on a larger scale than just prompt engineering or RAG. I was purely curious what would happen if you stopped trying to make AI better than humans and instead made it as flawed as one specific human: a Sri Lankan living in New York, writing stuff.

- **Glitch v1** is available on [Hugging Face](https://huggingface.co/your-repo) if you want to try it yourself.  
- More updates will be posted on the Glitch website: .
  
> **Spoiler:** There’s a high chance that **v1.03** will be pushed to the Hugging Face repository very soon, with more consistent opinions and math‑related content.

订阅以了解 Glitch 的后续进展！