검색 엔진의 Large Language Model
Source: Dev.to
번역을 진행하려면 번역하고자 하는 전체 텍스트를 제공해 주세요. 텍스트를 주시면 요청하신 대로 한국어로 번역해 드리겠습니다.
적응 가중치 기반 A* 알고리즘
A* 알고리즘은 휴리스틱 + 노드 n까지의 총 비용을 사용합니다.
일반 그래프에서는 잘 동작하지만, 탐색 공간이 그리드일 경우 몇 가지 결함이 나타납니다.
그리드 기반 탐색 공간에서는 그래프가 n × n 셀 배열이며, 각 셀이 하나의 노드가 됩니다.
한 셀에서 인접한 셀로 이동하는 비용은 그리드 전체에 걸쳐 일정합니다.
아래는 전통적인 A* 알고리즘이 그리드에서 겪는 두 가지 주요 문제와 제안된 해결책입니다.
문제 1 – 고려되는 이웃이 너무 많음
전통적인 A*를 n × n 그리드에서 실행할 때 보통 8개의 이웃(8-연결 이웃)을 고려합니다.
매 반복마다 8개의 이웃을 모두 탐색하면 불필요한 노드를 확장하게 되어 연산량이 낭비됩니다.
제안된 해결책: 가장 유용한 5개의 이웃만 고려합니다.
문제는: 그 5개의 이웃을 어떻게 선택하느냐 입니다.
단계 1 – Δx와 Δy 계산
[ \Delta x = |x_{\text{goal}} - x_{\text{current}}|,\qquad \Delta y = |y_{\text{goal}} - y_{\text{current}}| ]
단계 2 – 적절한 조건 선택
다음 조건들과 두 값을 비교합니다:
단계 3 – 이웃 집합 선택
조건이 만족되는 경우 해당 이웃 집합을 사용합니다.
이웃 집합의 형식은 그림에 표시되어 있으며(파란 셀이 에이전트), 아래와 같습니다.
문제 2 – 위험한 경로
위험한 경로란 장애물의 가장자리를 바로 가로지르는 경로를 말합니다(그림 참고).
전통적인 A*가 이러한 경로를 확장하면 에이전트가 장애물의 날카로운 모서리와 충돌할 수 있습니다.
제안된 해결책: 장애물의 방향에 따라 이웃 집합에서 두 개의 이웃을 제거합니다.
아래 표는 각 장애물 방향에 대해 제외해야 할 자식 노드를 보여줍니다.
알고리즘은 장애물의 방향을 확인한 뒤, 고려하지 말아야 할 자식 노드를 결정합니다.
개인적인 생각
최근 수업에서 A와 기타 경로 탐색 알고리즘을 배우면서 큰 흥미를 느꼈습니다.
“A Algorithm Based on Adaptive Weights” 논문을 읽고 실제 상황에 적용할 구체적인 아이디어를 얻을 수 있었습니다.
참고 논문:
A* algorithm Based on Adaptive Weights
검색 엔진의 대형 언어 모델
현대 검색 엔진은 매우 자율적으로 동작하여 일상 업무를 더욱 생산적으로 만들고 있습니다.
이전 검색 엔진은 사전 정의된 키워드 매칭과 고전적인 자연어 처리(NLP) 기법에 의존했습니다.
옛 문제
복잡한 쿼리 예시
“How to know if and A* algorithm has given optimal path should we compare it with ucs traversal?”
전통 엔진을 혼란스럽게 만든 이유는 다음과 같습니다:
- 문장은 문법 오류를 포함하고 있습니다 (예: 떠돌아다니는 “and”).
- “ucs”와 같은 모호한 용어를 이해하지 못했습니다.
현대적 해결책
이제 대형 언어 모델 (LLMs)(예: ChatGPT, Claude, Opus)를 웹 기술과 결합합니다.
- LLM은 최신 NLP 기술을 활용해 인간 언어 이해에 뛰어납니다.
- 그러나 최신 사실 지식이 부족합니다.
LLM을 실시간 웹 검색(RAG – Retrieval‑Augmented Generation)과 통합함으로써 다음을 수행하는 검색 엔진을 얻습니다:
- 복잡하고 잡음이 섞인 쿼리를 정확히 해석합니다.
- 웹에서 최신 정보를 검색합니다.
검색 엔진의 진화
| 세대 | 주요 특징 |
|---|---|
| 1 – 전통적 | 색인된 웹 페이지에 대한 키워드 매칭; 상위 N개의 결과를 반환합니다. |
| 2 – AI‑보강 | RAG(Retrieval‑Augmented Generation) 도입; 검색과 언어 생성 결합. |
| 3 – LLM‑구동 (현재) | LLM과 실시간 웹 데이터의 풀스택 통합; 모호하고 대화형이며 최신 쿼리를 처리합니다. |
섹션 3: 깊은 검색
이제까지 가장 최신이면서 가장 강력한 방법이 등장합니다: THE DEEP SEARCH.
이 접근 방식에서는 고정된 단계‑별 절차를 따르는 대신, 에이전트가 독립적으로 사고하도록 허용됩니다. 에이전트는 무엇을 검색할지 결정하고, 사용자의 복합적인 질의를 이해한 뒤 제공할 최적의 콘텐츠를 판단합니다. 최첨단 기술에 머신러닝도 활용됩니다.
개인적인 생각
이 논문을 읽기 전까지 검색 엔진의 역사를 전혀 몰랐습니다. 검색 엔진이 어떻게 작동하고 수십 년에 걸쳐 어떻게 진화했는지 많은 것을 배웠습니다.