第4部分 — 检索即系统

Source: Dev.to

为什么大多数实用的 GenAI 系统都是检索为中心

• 大语言模型（LLMs）在静态数据上进行训练，这导致：
  • 知识陈旧
  • 缺少领域上下文
  • 没有来源归属
  • 无法传播纠正信息
• 对于真实世界的应用，仅依赖模型是不可接受的。
• 准确性、时效性和可追溯性必须在模型之外提供。

检索增强生成（RAG）

RAG 通过将责任从模型转移到系统来工作。

系统职责

• 决定哪些信息是相关的
• 控制模型能够看到的内容
• 将生成基于已知数据进行 grounding

模型职责

• 综合检索到的信息
• 生成自然语言输出

这种划分至关重要：大多数 RAG 失败源于系统问题，而非模型本身。

常见的 RAG 陷阱

• 切块边界不佳
• 缺失或不完整的元数据
• 检索查询过于宽泛
• 延迟高的流水线

因为检索质量在模型介入之前就决定了输出质量，解决这些问题至关重要。

检索为中心架构的优势

• 可管理的上下文窗口
• 自然降低幻觉（hallucinations）
• 模型可互换（相同的检索层可以为不同模型提供信息）
• 行为可检查（检索到的来源可见）

此时，GenAI 系统类似于带有生成层的搜索系统——这是一种理想的设计。

---

下一篇文章将把成本、延迟和失败视为设计约束，而不是事后考虑。