프로토타입에서 프로덕션까지: FastAPI + ChromaDB로 신뢰할 수 있는 RAG API 구축

Source: Dev.to

왜 프로토타입을 넘어섰는가

프로토타입은 문서에서 질문에 답할 수 있습니다.
프로덕션 시스템은 또한 다음을 만족해야 합니다:

• 반복 사용 시에도 신뢰성 확보
• 출처 표시(추적 가능)
• 유지보수 및 배포 용이
• 환각 방지 안전성

이 변화는 모든 레이어 설계 방식을 바꾸었습니다.

아키텍처 개요

내 파이프라인

• 문서 수집 (.pdf, .txt, .docx)
• 텍스트 정제 + 겹침이 있는 스마트 청킹
• 임베딩 생성 (all‑MiniLM‑L6‑v2)
• ChromaDB에 영구 벡터 저장
• 메타데이터와 함께하는 의미 검색 (Top‑K)
• 근거 있는 답변을 위한 엄격한 프롬프트 구성
• Groq (OpenAI 호환 SDK) 를 통한 LLM 응답 생성
• 답변 + 출처 + 신뢰도 + 지연시간을 포함한 API 응답

구현 내용

1. 문서 처리 레이어

   • 다중 포맷 로더 (PDF/TXT/DOCX)
   • 정규화 및 정제
   • 문맥 연속성을 위한 겹침 청킹 전략
   • 각 청크에 메타데이터 (출처, 페이지, chunk_id, 타임스탬프) 부여

2. 벡터 스토어 레이어

   • 영구적인 ChromaDB 컬렉션
   • 임베딩 + 인덱싱 파이프라인
   • 유사도 검색 API
   • 선택적 MMR‑스타일 다양성 검색
   • 컬렉션 관리 (카운트, 전체 삭제, 출처별 삭제)

3. RAG 챗봇 레이어

   • 번호가 매겨진 출처 블록을 포함한 컨텍스트 빌더
   • 제어된 프롬프트 규칙:
     • 제공된 컨텍스트에서만 답변
     • 컨텍스트가 부족하면 명시적으로 거부
     • 항상 출처 인용
   • 검색 거리 기반 신뢰도 추정
   • 선택적 대화 이력 지원

4. FastAPI 서비스 레이어

   • POST /upload : 수집 및 인덱싱
   • POST /query : 근거 있는 Q&A
   • GET /health : 서비스 상태 확인
   • GET /documents : 인덱싱된 문서 수 조회
   • POST /reload : 초기화 작업

주요 프로덕션 교훈

• 많은 Q&A 작업에서 모델 크기보다 검색 품질이 더 중요합니다.
• 프롬프트 제약 조건은 벡터 검색만큼이나 중요합니다.
• 메타데이터는 디버깅과 신뢰성을 위한 강력한 도구입니다.
• 신뢰도와 출처 제공은 사용성을 크게 향상시킵니다.
• 가시성(지연시간/로그/오류)은 선택 사항이 아닙니다.

기술 스택

• FastAPI
• ChromaDB
• Sentence Transformers
• OpenAI SDK (Groq‑호환 엔드포인트)
• PyPDF2 / python‑docx / dotenv

최종 생각

RAG를 구축하는 것은 쉽습니다.
신뢰할 수 있는 RAG를 구축하는 것이 진정한 엔지니어링의 시작입니다.

프로덕션 환경에서 RAG 시스템을 운영해 보셨다면, 여러분의 설정에서 가장 큰 차이를 만든 요소를 공유해 주세요.

GitHub: RAG SYSTEM