파트 4 — 검색은 시스템이다

Source: Dev.to

대부분의 실용적인 GenAI 시스템이 검색 중심인 이유

• 대형 언어 모델(LLM)은 정적 데이터로 학습되므로 다음과 같은 문제가 발생합니다:
  • 오래된 지식
  • 도메인 컨텍스트 부족
  • 출처 표기 부재
  • 수정 사항 전파 불가
• 실제 적용에서는 모델만을 의존하는 것이 허용되지 않습니다.
• 정확성, 최신성, 추적 가능성은 모델 외부에서 제공되어야 합니다.

검색 강화 생성(RAG)

RAG는 책임을 모델에서 시스템으로 옮겨서 동작합니다.

시스템 책임

• 어떤 정보가 관련 있는지 판단
• 모델이 볼 수 있는 내용을 제어
• 생성 결과를 알려진 데이터에 기반하도록 함

모델 책임

• 검색된 정보를 종합
• 자연어 출력을 생성

이 구분이 핵심입니다: 대부분의 RAG 실패는 모델이 아니라 시스템 문제에서 비롯됩니다.

흔히 발생하는 RAG 함정

• 부적절한 청크 경계
• 메타데이터 누락 또는 불완전
• 지나치게 광범위한 검색 쿼리
• 지연이 큰 파이프라인

검색 품질이 모델이 관여하기 전부터 출력 품질을 좌우하기 때문에, 이러한 문제를 해결하는 것이 필수적입니다.

검색 중심 아키텍처의 장점

• 관리 가능한 컨텍스트 윈도우
• 환각 현상 자연스럽게 감소
• 모델 교체 가능(동일한 검색 레이어가 서로 다른 모델에 공급 가능)
• 검증 가능한 동작(검색된 출처가 그대로 보임)

이 시점에서 GenAI 시스템은 생성 레이어가 얹힌 검색 시스템과 유사해집니다—바람직한 설계입니다.

---

다음 글에서는 비용, 지연, 실패를 사후 고려가 아닌 설계 제약 조건으로 살펴볼 예정입니다.