Chunk 边界与元数据对齐：RAG 不稳定性的隐藏根源

Source: Dev.to

为什么会出现错位

一个可靠的 RAG 系统期望以下顺序保持稳定：

• 文档章节 → 标题 → 块边界 → 元数据标签 → 索引条目。

当出现以下情况时会导致失败：

• 导出工具修改了标题结构
• 层级塌陷或移动
• 在摄取后更改导致块边界移动
• 在分段之前就应用了元数据
• 索引条目反映了混合的历史快照

源文件格式的细微变化可能导致边界偏移几 个 token，足以破坏元数据映射。

错位的症状

• 检索返回的块缺少预期的上下文
• Top k 结果在不同运行之间变化
• 过滤器返回不一致的区域
• 某些章节无法检索

即使嵌入向量和模型本身没有问题，这些症状仍会出现。

实用修复方案

通过一个直接的工作流来稳定分块和元数据：

• 使用确定性的预处理
• 保持规范的文本快照
• 在 分段之后生成元数据
• 跟踪边界哈希以检测漂移
• 仅在分段发生变化时重建索引

这样可以确保元数据准确描述已嵌入的块。

影响

修复此对齐问题通常能比更换嵌入模型或调优 top k 更显著地提升检索稳定性。它可以减少调试时间，并为系统带来可预测性。

给读者的提问

你如何确保分段和元数据在不同版本之间保持一致？