이 트리 검색 프레임워크는 벡터 검색이 실패하는 문서에서 98.7%를 달성합니다

Source: VentureBeat

PageIndex tackles long‑document retrieval in RAG

새로운 오픈‑소스 프레임워크 PageIndex는 검색‑보강 생성(RAG)의 오래된 문제 중 하나인 매우 긴 문서 처리를 해결합니다.

고전적인 RAG 워크플로우(문서를 청크로 나누고, 임베딩을 계산한 뒤, 벡터 데이터베이스에 저장하고, 의미적 유사성을 기반으로 상위 매치를 검색)는 대부분의 언어 모델이 가진 토큰 제한을 초과하는 문서에서는 어려움을 겪습니다. PageIndex는 트리‑검색 접근 방식을 도입하여 방대한 텍스트에서도 정보를 색인하고 검색할 수 있게 하면서도 쿼리 지연 시간을 낮게 유지합니다.