我发布了第一个 Python 包——可复用的 RAG 核心库

Source: Dev.to

概述

如果你曾经构建过检索增强生成（RAG）系统，你一定体会到其中的痛点：每个新项目都要重新编写相同的样板代码——向量库设置、嵌入、分块、LLM 接口。我已经厌倦了这种重复工作，于是把它封装成了一个库。

特性

• 支持持久化、去重和元数据过滤的 FAISS 向量库
• 带 MMR 支持的语义搜索
• 通过 Ollama 实现本地 LLM 推理
• 模块化安装——只安装你需要的部分
• 抽象基类，方便你按自己的方式扩展

安装

pip install pyragcore[all]

使用方法

from pyragcore import BasePipeline

class MyPipeline(BasePipeline):
    def ingest(self, source: str) -> str:
        # 在此编写你的 ingest 逻辑
        ...

pipeline = MyPipeline(persist_dir="./memory", output_folder="./output")
source_id = pipeline.ingest("./my_document.pdf")
answer = pipeline.ask("What is this document about?", source_id=source_id)
print(answer)

状态

仍处于早期阶段（v0.1.11），我正在积极开发中，但它已经为我构建的几个项目提供了动力——一个文档聊天机器人。

链接

• PyPI: https://pypi.org/project/pyragcore/
• GitHub: https://github.com/yourusername/pyragcore

欢迎分享反馈、想法或贡献。如果你用它构建了什么项目，记得告诉我！