Show HN: Rust 驱动的文档块处理器用于 RAG – 40 倍更快，O(1) 内存

Source: Hacker News

问题

LangChain 的 chunker 完全使用 Python 编写，在大规模时会成为瓶颈——在处理大型文档集合时既慢又占用大量内存。

Krira Chunker 的独特之处

• Rust 原生处理 — 比 LangChain 实现快约 40 倍
• O(1) 空间复杂度 — 无论文档大小，内存使用保持平稳
• 即插即用的 Python API — 可与任何现有的 RAG 流程配合使用
• 生产就绪 — 已发布 17 个版本，累计 315+ 次安装

安装

pip install krira-augment

征求反馈

我非常期待构建 RAG 系统的朋友们给出直言不讳的反馈——你在分块过程中遇到的哪些问题是此工具尚未解决的？

在 Hacker News 上的评论 (Points: 14, Comments: 3)