Chunking 与 Segmentation：检索质量中的静默失效点

Source: Dev.to

大多数团队认为检索质量下降是因为嵌入或向量库出现了问题。

实际上，最常见的原因要简单得多，也更安静：块漂移。

块划分看起来很直接——把文本切成片段，进行嵌入，然后检索。
但在生产环境中，块划分成为整个 RAG 流程中最脆弱的环节之一。它是重复且不可微分的工作，不需要深厚的工程技能，却决定了检索性能的大部分。

本文将阐述根本原因、检测信号以及稳固的修复方法。

简短答案

检索通常失败是因为块边界随时间发生了变化，而没有人注意到。即使是格式、摄取结构或重叠规则的细微变化，也会悄然降低召回率、精确率和上下文 grounding。

实际系统中导致块划分出错的因素

以下问题在审计、摄取管道和多格式语料库中反复出现。

• 边界漂移 – 细微的格式或结构差异导致块边界落在新的位置，破坏了原本稳定的嵌入。
• 语义碎片化 – 块在概念或章节中间被切分，导致本应保持在一起的意义被拆开。
• 重叠不一致 – 不同格式或版本之间的重叠逻辑发生变化，产生重复或噪声。
• 块大小波动 – 版本之间块大小差异显著，导致检索行为不可预测。
• 上下文稀释 – 语义相关的内容被分到不同块中，削弱了 grounding 和可回答性。
• 过度重叠 – 大幅或漂移的重叠会产生近似重复的向量，导致噪声的 top‑k 结果。
• 摄取驱动的漂移 – OCR、PDF 提取、HTML 解析或预处理的变化会自动改变块划分行为。
• 章节层级丢失 – 扁平化或不一致的标题结构导致无意义的分段。
• 跨格式不一致 – Markdown、HTML、PDF 和 Word 文件的分段方式不同，即使它们包含相同信息。

这些问题不需要专门的 AI 工程知识，却会导致看起来像模型问题的故障。

如何提前检测块漂移

漂移可以通过少量高信号检查快速发现。这些正是我们在摄取审计中使用的检查项。

• 跨版本块边界差异 – 比较旧版和新版之间的边界。突发的位移会立即显现漂移。
• 块大小方差监控 – 平均或中位块大小的异常变化表明分段不稳定。
• 重叠一致性检查 – 所有输入的重叠量应保持一致。出现差异即表明漂移。
• 逻辑块起始检查 – 块的起始位置应对齐标题、语义转折或句子边界。
• 相邻块余弦距离 – 相邻块应在语义上相关。距离突增通常意味着分段不佳。
• 重复块识别 – 常由重叠漂移或预处理不一致导致。

这些检查帮助团队用证据而非猜测回答“本周检索质量为何下降？”。

防止大多数块问题的微调修复

一小套稳固措施即可消除绝大多数块划分失败。

• 结构感知分段 – 基于文档结构而非原始字符数进行块划分。
• 标题标准化 – 对 PDF、HTML 和 Markdown 等格式的标题进行统一，使块划分逻辑看到一致的结构。
• 配置固定 – 对块大小、重叠和分段逻辑使用固定配置。
• 统一重叠策略 – 在所有文件类型和摄取来源上采用相同的重叠规则。
• 摄取更新后重新分块 – 若摄取方式改变，必须重新计算分段。块划分绝不能依赖过时的结构。
• 分段可视化预览 – 简单的可视化比日志或指标更快捕捉漂移。

当这些微调修复被持续应用时，70 %–80 % 的块划分失败会消失。

核心洞见

块划分并不是深奥或复杂的工程任务，但它必须保持稳定、可预测，并且紧密贴合文档的逻辑结构。大多数检索问题的根源在于块划分悄然漂移，而团队却把注意力放在嵌入、模型或检索参数上。

如果你的检索表现不稳定或在下降，请先检查分段，而不是先检查嵌入。