Retrieval-Augmented Generation (RAG) 시작 가이드

Source: Dev.to

RAG란? (쉽게 말하면)

Retrieval‑Augmented Generation (RAG)은 다음을 결합합니다:

• 검색 (Retrieval) – 데이터에서 관련 정보를 찾아냄
• 생성 – LLM이 그 데이터를 활용해 답변을 생성

AI가 추측하는 대신 먼저 사실을 찾아보고 답변하므로 환각을 줄일 수 있습니다.

장점

• 답변이 자신의 데이터(PDF, 문서, DB, API)에서 나옴
• 데이터를 최신 상태로 유지 (재학습 불필요)
• 챗봇, 내부 도구, 검색, Q&A에 이상적

RAG 아키텍처 (전체 흐름)

흐름

1. 사용자가 질문을 함
2. 관련 문서를 검색함
3. 검색된 컨텍스트를 LLM에 전달함
4. LLM이 데이터에 근거한 답변을 생성함

지원되는 소스 유형

• PDF, Word 파일, Markdown
• 데이터베이스, API, 웹사이트

기술 파이프라인

• 텍스트 → 유사도 검색을 위한 수치 벡터
• 임베딩: OpenAI 임베딩, SentenceTransformers
• 빠른 검색을 위한 벡터 스토어: FAISS(로컬), Pinecone, Weaviate, Chroma

모델 예시

• GPT‑4 / GPT‑4o
• Claude
• Llama

구현 예시 (Python)

# Install required packages
# pip install langchain faiss-cpu openai tiktoken

from langchain.document_loaders import TextLoader
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.chat_models import ChatOpenAI

# Load documents
loader = TextLoader("data.txt")
docs = loader.load()

# Create embeddings and vector store
embeddings = OpenAIEmbeddings()
db = FAISS.from_documents(docs, embeddings)

# Retrieve relevant chunks
query = "What is RAG?"
retrieved_docs = db.similarity_search(query)

# Generate answer using the retrieved context
llm = ChatOpenAI()
response = llm.predict(
    f"Answer using this context:\n{retrieved_docs}\n\nQuestion: {query}"
)

print(response)

전형적인 사용 사례

• PDF 챗봇
• 내부 기업 지식 베이스
• 법률 문서 검색
• 의료 가이드라인 어시스턴트
• 개발자 문서 봇

모범 사례

• 프롬프트에 너무 많은 텍스트를 넣지 않기 (청크 크기: 500–1000 토큰)
• 출처 인용 추가
• top‑k 검색 사용 (k = 3–5)
• 프롬프트를 명확히 지정, 예: “컨텍스트에서만 답변”

다음 단계 (추천)

• 문서 청크화 적용
• 메타데이터 필터링 활용
• 인용 추가
• 하이브리드 검색(키워드 + 벡터) 사용
• 재정렬(Reranking) 적용

RAG를 사용하면 안 되는 경우

• 수학 중심의 추론
• 컨텍스트 없이 코드 생성
• 창작 글쓰기
• 순수 챗봇
• 그래프 데이터에 의존하는 AI(Neo4j 컨퍼런스 참고)

참고 자료

• Neo4j 컨퍼런스:
• Nodes AI 2026 세션: