如果 LLMs 需要的是脊柱，而不是更大的大脑，会怎样？

Source: Dev.to

问题陈述

我已经在构建某个东西好几个月了，但我仍在努力弄清楚，我是在解决一个真实的问题，还是只是在对本可以通过更好提示解决的事情进行过度结构化。

我的初始直觉很简单：LLM 在生成方面非常擅长，但在你期望它们保持连续性时却不够可靠。一旦你需要一个能够坚持立场、干净地记住事物、在紧张后恢复并随时间保持连贯的代理时，你就会看到模型本身的局限性。这并不一定是因为它缺乏智能，而是因为它缺少一种骨架。

在许多系统中，LLM 一次性完成所有工作：它说话、做决定、即兴创建自己的记忆和框架。这种方式可以运行，直到它开始漂移。提示可以让你走得相当远，但仍然感觉脆弱。

提议的方法

思路是将治理移到模型之外：

• LLM 负责生成，但它 不 自行决定。
• 一个显式的策略层处理决策、状态和记忆，提供连续性。
• 时间线保留可检查的事件追踪。

观察

到目前为止，这种方法带来了：

• 更高的稳定性和更少的内部状态发明。
• 在提示注入下更好的约束遵循和更明确的边界。
• 在长序列中减少漂移。

未解之问

• 我尚未正式证明状态因果关系、受治理记忆的实际影响或确定性回放。
• 是否已有现有项目在解决同样的问题？
• 更好的提示是否最终可以消除对这种额外结构的需求？

核心问题

如果 LLM 是肌肉，那么骨架应该是什么样子？