Vectorized Thinking: Elasticsearch와 함께 프로덕션 준비된 RAG 파이프라인 구축

Source: Dev.to

위에 제공된 링크 외에 번역할 실제 텍스트가 포함되어 있지 않습니다. 번역을 원하는 본문을 제공해 주시면, 요청하신 대로 마크다운 형식과 코드 블록을 그대로 유지하면서 한국어로 번역해 드리겠습니다.

Abstract

전통적인 키워드 기반 검색이 수십 년 동안 우리를 도와왔지만, 생성형 AI 시대에는 인간 의도의 미묘한 차이를 파악하는 데 종종 한계가 있습니다. 이 가이드에서는 Vectorized Thinking으로의 전환을 살펴봅니다. 우리는 **Elasticsearch Relevance Engine (ESRE)**와 OpenAI embeddings를 활용한 완전한 Retrieval‑Augmented Generation (RAG) 파이프라인을 구현하여, 어휘 매칭과 의미 이해 사이의 격차를 메우는 방법을 시연합니다. 이 글을 끝까지 읽으면 정확하면서도 확장 가능한 RAG 시스템을 구축, 최적화 및 배포하는 방법을 이해하게 될 것입니다.

1. 키워드 검색에서의 “시맨틱 갭”

Traditional search engines rely on lexical matching, typically using the BM25 algorithm. While BM25 is excellent for finding exact terms, it is fundamentally blind to meaning. This creates what we call the Semantic Gap.

문제 – Imagine a user asking a support bot, “How do I recover my account?” If your knowledge base only contains the phrase “Reset your password using the Forgot Password option,” a standard keyword search might fail. Why? Because the words recover and account do not appear in the target document.

This gap leads to hallucinations in LLMs (Large Language Models) because, without the right context, the model is forced to guess. Vector search solves this by representing intent as mathematical coordinates in a high‑dimensional space, allowing the system to “understand” that recovery and resetting are semantically identical in this context.

2. 벡터 검색이란?

벡터 검색은 비정형 텍스트를 **임베딩(embeddings)**이라고 하는 조밀한 수치 표현으로 변환합니다. 이러한 임베딩은 단어, 문장 또는 전체 문서를 고차원 공간에 매핑하여 *“Account Recovery”(계정 복구)*와 *“Password Reset”(비밀번호 재설정)*이 지리적으로 가깝게 위치하도록 합니다.

Elastic Stack을 위한 핵심 개념

3. 시스템 아키텍처

프로덕션 수준의 RAG 파이프라인은 단일 스크립트가 아니라 두 개의 별도 루프로 구성된 라이프사이클입니다. 이 흐름을 이해하는 것이 신뢰할 수 있는 GenAI 애플리케이션을 구축하는 데 핵심입니다.

[Diagram: The RAG Lifecycle]

인제스트 루프 (오프라인)

Raw Documents → Chunking Service → OpenAI Embedder → Elasticsearch Index (Vector Store)

이 단계에서는 텍스트를 검색 가능한 벡터로 변환하여 지식 베이스를 준비합니다.

추론 루프 (온라인)

User Query → OpenAI Embedder → kNN Vector Search in Elastic → Context Injection → LLM Response

이 단계에서는 사용자의 질의를 이용해 최적의 컨텍스트를 찾은 뒤, LLM에게 답변을 요청합니다.

Source: …

4. Elastic Cloud를 이용한 구현 가이드

이 가이드를 따르려면 Elastic Cloud 인스턴스가 필요합니다(외부 모델 제공자(OpenAI 등)와의 통합을 간소화하는 **Elasticsearch Relevance Engine (ESRE)**이 포함된 관리형 환경).

Step 1: 벡터 스키마 정의

PUT /rag-index
{
  "mappings": {
    "properties": {
      "text": {
        "type": "text"
      },
      "metadata": {
        "type": "keyword"
      },
      "embedding": {
        "type": "dense_vector",
        "dims": 1536,
        "index": true,
        "similarity": "cosine",
        "index_options": {
          "type": "hnsw",
          "m": 16,
          "ef_construction": 100
        }
      }
    }
  }
}

Technical note: m은 각 새 요소에 대해 양방향 링크의 수를 정의합니다(값이 클수록 정확도가 향상되지만 인덱싱 시간이 증가합니다). ef_construction은 그래프 구축 중에 사용되는 동적 리스트의 크기를 제어합니다.

Step 2: 지능형 청킹 및 인제스트

전체 문서를 임베딩하면 시맨틱 희석이 발생합니다. “골디락스” 구역은 청크당 500‑800 토큰이며, 10 % 겹침을 두어 청크 경계 사이의 컨텍스트를 유지합니다.

def chunk_text(text, limit=500, overlap=50):
    """
    Split `text` into overlapping chunks.
    - `limit`  : maximum number of tokens per chunk
    - `overlap`: number of tokens to overlap between consecutive chunks
    """
    words = text.split()
    chunks = []
    for i in range(0, len(words), limit - overlap):
        chunks.append(" ".join(words[i:i + limit]))
    return chunks

인제스트 루프 예시

for chunk in chunk_text(raw_document):
    # Generate embedding via OpenAI
    response = client.embeddings.create(
        model="text-embedding-3-small",
        input=chunk
    )
    vector = response.data[0].embedding

    # Index into Elasticsearch
    es.index(
        index="rag-index",
        document={
            "text": chunk,
            "embedding": vector,
            "metadata": {"source": "kb"}   # optional metadata
        }
    )

Step 3: 시맨틱 검색 (kNN)

우리는 사용자 의도의 벡터를 검색하며, 원시 텍스트를 검색하지 않습니다. num_candidates 파라미터는 HNSW 그래프 레이어 전반에서 고려할 결과 수를 Elasticsearch에 알려줍니다.

search_response = es.search(
    index="rag-index",
    knn={
        "field": "embedding",
        "query_vector": user_query_vector,
        "k": 3,                # top‑k results to return
        "num_candidates": 100 # candidates examined in the graph
    }
)

5. 고급 최적화: 하이브리드 검색 및 역순위 융합 (RRF)

순수 벡터 검색이 강력하지만, 전통적인 어휘 검색과 결합하면 종종 양쪽의 장점을 모두 얻을 수 있습니다.

• Hybrid Search – BM25(또는 다른 어휘 스코어러)와 벡터 필드를 동시에 쿼리한 뒤 점수를 병합합니다.
• Reciprocal Rank Fusion (RRF) – 점수에 의존하지 않는 간단한 방법으로, 두 순위 리스트를 결합하여 양쪽 모두 상위에 나타나는 항목에 보상을 줍니다.

POST /rag-index/_search
{
  "size": 5,
  "query": {
    "bool": {
      "should": [
        {
          "knn": {
            "embedding": {
              "vector": user_query_vector,
              "k": 5
            }
          }
        },
        {
          "match": {
            "text": {
              "query": user_query_text,
              "boost": 2.0
            }
          }
        }
      ]
    }
  }
}

하이브리드 결과를 가져온 후, 애플리케이션 레이어에서 RRF를 적용하여 최종 순위를 생성합니다.

6. RAG 서비스 배포

1. Containerize ingestion 및 inference 스크립트를 컨테이너화합니다 (Docker).
2. Expose 경량 HTTP 엔드포인트 (FastAPI / Flask)를 노출합니다:
   • 사용자 쿼리를 받습니다.
   • OpenAI를 호출하여 쿼리를 임베딩합니다.
   • kNN 검색을 실행합니다.
   • 상위 k개의 청크를 컨텍스트로 포맷합니다.
   • 컨텍스트와 쿼리를 LLM에 전송합니다 (예: gpt‑4o).
3. Scale 서비스를 Kubernetes 또는 Elastic Cloud의 내장 자동 스케일링으로 확장합니다.

7. 모니터링 및 유지보수

Elastic Observability (APM, Logs, Metrics)에서 알림을 설정하여 회귀를 사전에 방지하세요.

8. 약점: 정확한 용어 매칭

사용자가 **“SKU‑9904‑X”**와 같은 특정 부품 번호를 검색하면, 순수 벡터 검색은 정확한 부품 대신 “유사한” 부품을 반환할 수 있습니다.

해결책 – 역순위 융합(RRF) 기반 하이브리드 검색

RRF를 사용하면 BM25 키워드 검색 결과와 k‑NN 벡터 검색 결과를 하나의 통합된 순위로 결합할 수 있습니다.

GET /rag-index/_search
{
  "query": {
    "match": {
      "text": "SKU-9904-X"
    }
  },
  "knn": {
    "field": "embedding",
    "query_vector": [0.12, 0.45, ...],
    "k": 10,
    "num_candidates": 100
  },
  "rank": {
    "rrf": {}
  }
}

두 방법을 병합함으로써 **“두 세계의 장점”**을 얻을 수 있습니다 — 키워드 매칭의 정밀도와 의미 검색의 직관성을 동시에 제공합니다.

9. 운영 고려사항: “전선에서 얻은 교훈”

양자화 (스칼라 양자화)

• 벡터 저장은 RAM을 많이 사용합니다.
• Elasticsearch는 int8 양자화를 지원하며, 벡터를 32‑bit 부동소수점에서 8‑bit 정수로 압축합니다.
• 실적으로 이는 ≈75 %의 메모리를 절감하면서 < 1 % 감소의 검색 정확도만을 보였습니다.

회로 차단기

• 임베딩 제공업체(OpenAI, Anthropic 등)는 제3자 의존성입니다.
• 지수 백오프와 회로 차단기를 구현하세요.
• 임베더가 다운되면, 충돌 대신 키워드 전용 검색으로 우아하게 전환합니다.

재정렬기 패턴

• 고위험 애플리케이션의 경우, 2단계 검색 프로세스를 사용합니다:
  1. Elasticsearch가 상위 50 문서를 반환합니다.
  2. 크로스‑인코더 모델(예: Cohere Rerank)이 최종 상위 3을 선택합니다.
• 이렇게 하면 정밀도가 크게 향상됩니다.

10. 관찰 및 성능

Testing this architecture on a dataset of 50 000 technical documents yielded:

Conclusion

벡터화된 사고는 키워드에서 의도로 초점을 이동시킵니다. Elasticsearch Relevance Engine을 활용함으로써 개발자는 사용자를 진정으로 이해하는 검색 경험을 구축할 수 있습니다. 고객 지원 봇이든 복잡한 연구 도구이든, HNSW 인덱싱, Hybrid Search, 그리고 LLM 증강의 조합은 차세대 AI‑구동 애플리케이션을 위한 견고한 기반을 제공합니다.