RAG가 작동하는 방식...

Source: Dev.to

Retrieval‑Augmented Generation (RAG)이란?

AI 분야를 따라가고 있다면 RAG(Retrieval‑Augmented Generation)라는 용어를 들어봤을 것입니다. 복잡하게 들릴 수 있지만, 실제 상황에서 AI를 유용하게 만드는 방법이라고 보면 됩니다.

AI 모델에 대한 “오픈‑북” 시험이라고 생각하면 됩니다:

• 표준 LLM – 모델이 기억만으로 답변해야 하므로 세부 사항을 잊어버리거나 환각을 일으킬 수 있습니다.
• RAG – 모델이 질의 시점에 참고 자료(예: 교과서)를 찾아 필요한 정확한 문단을 가져와 그 정보를 바탕으로 답변합니다.

RAG 작동 방식

RAG는 세 가지 간단한 단계로 구성됩니다:

1. Retrieval (검색)

질문이 들어오면(예: “우리 회사의 휴가 정책은 무엇인가요?”) 시스템은 먼저 사설 지식 베이스—PDF, 문서, 이메일 등—에서 관련 구절을 검색합니다. 질의는 언어 모델에 직접 전달되지 않습니다.

2. Augmentation (컨텍스트)

검색된 구절을 원래 질문과 결합해 프롬프트를 만듭니다. 예시 프롬프트:

Using these notes [paste notes here], answer this question: What is the leave policy?

3. Generation (답변)

GPT‑4나 Claude와 같은 언어 모델이 강화된 프롬프트를 읽고 제공된 컨텍스트만을 근거로 답변을 생성합니다.

RAG의 장점

• 신뢰성 – 답변이 검색된 문서에 기반하므로 환각이 발생할 가능성이 낮아집니다.
• 시의성 – 지식 베이스의 문서를 업데이트하면 새로운 정보가 즉시 AI에 반영되어 별도의 비용이 많이 드는 재학습이 필요 없습니다.
• 효율성 – 원본 자료가 바뀔 때마다 대형 모델을 반복적으로 재학습시키는 비용을 절감할 수 있습니다.

RAG가 중요한 이유

RAG는 종종 AI 엔지니어링의 “Hello World”라고 불립니다. 이는 AI를 단순히 사용하는 단계에서 벗어나, 자체 데이터와 AI를 결합해 정확하고 최신이며 신뢰할 수 있는 결과를 제공할 수 있는 구축자로 전환하는 전환점이 됩니다.