该树搜索框架在 vector search 失效的文档上命中率达 98.7%

Source: VentureBeat

PageIndex tackles long‑document retrieval in RAG

一个名为 PageIndex 的新开源框架解决了检索增强生成（RAG）中的一个老问题：处理超长文档。

经典的 RAG 工作流（将文档切块、计算嵌入、将其存入向量数据库，并基于语义相似度检索最佳匹配）在文档超过大多数语言模型的 token 限制时会出现困难。PageIndex 引入了一种树搜索方法，能够在保持查询延迟低的同时，对海量文本进行索引和检索。