RAG의 진화: 검색을 넘어, 나를 이해하는 ‘Personal Context’의 시대로
Source: Samsung Tech Blog
내 친구와 대화한 내용을 아는 AI
현재 RAG의 한계: 컨텍스트 블라인드니스
-
Data Silo (데이터 단절)
AI는 사용자의 카카오톡·메시지 앱에 접근할 수 없으므로, “철준”이라는 엔티티가 누구인지, 언제 어떤 텍스트로 맛집을 언급했는지 파악하지 못합니다. -
Static Knowledge (정적 지식)
설령 맛집 이름을 알더라도 “지금 갈 수 있는 (Open Now)”이라는 실시간 조건은 LLM의 사전 학습 데이터에 존재하지 않습니다.
Personal Context RAG의 해결 방식: 온‑디바이스 인텔리전스 및 오케스트레이션
STEP 1. 프라이빗 인덱싱 및 검색 (로컬 데이터 검색)
- 스마트폰 내 경량화 Vector Index를 구축
- 메신저 로그에서
철준(Sender),부산,맛집,추천등 키워드가 포함된 대화 세션을 검색해 후보 식당 리스트를 추출
STEP 2. 실세계 접지 (실시간 정보 접지)
- 후보 리스트를 기반으로 외부 지도 API(Naver / Google Maps) 호출
- 사용자의 GPS와 현재 시각을 파라미터로 넣어 영업 중 여부와 이동 시간을 계산
STEP 3. 개인화된 합성 (개인화된 답변 생성)
“철준님이 지난주 톡으로 극찬했던 ‘해운대 암소갈비’는 지금 대기 시간이 너무 길어 이용이 어렵습니다. 대신 추천했던 ‘금수복국’은 현재 영업 중이며, 택시로 15분 거리입니다.”
아키텍처의 진화: 하이브리드 오케스트레이션 (클라우드‑엣지 협업)
-
Local‑First Indexing
민감한 개인 데이터(메신저 대화, 생체 정보, 로컬 파일)는 디바이스 외부로 전송되지 않으며, 스마트폰 NPU를 활용해 임베딩 후 SQLite‑VSS·Mobile‑optimized Vector Store에 로컬 인덱싱 -
SLM 기반 Query Routing
경량화 모델(SLM, 예: Gauss 3B, Gemma 1B, Phi‑3 등)이 일차적으로 쿼리를 분석- “내 일정 확인해줘” → 로컬 처리
- “최신 기술 트렌드 알려줘” → 클라우드 라우팅
데이터 표현의 혁신: Personal Knowledge Graph (PKG)
-
GraphRAG 도입
벡터 검색이 놓치는 관계 지향적 질문을 위해 사용자 데이터를 Knowledge Graph 형태로 구조화?User :met_with ?KimTeamLead . ?KimTeamLead :discussed ?ProjectA . -
Episodic Memory 구현
타임스탬프·위치 메타데이터 필터링과 시간 가중치(Time‑Decay) 재순위화 알고리즘 적용
멀티모달 정렬(Multimodal Alignment)과 문맥 접지(Contextual Grounding)
-
Cross‑Modal Embedding
텍스트·이미지·오디오·센서 데이터(GPS·심박수 등)를 동일한 Latent Space에 매핑하는 경량 멀티모달 임베딩 모델 필요 -
Contextual Resolution
대명사·모호한 지시어를 사용자의 현재 상황(앱 실행 기록·위치·시간)에 맞춰 구체적인 쿼리로 변환하는 전처리 파이프라인이 RAG 성능을 좌우
결국 Personal Context RAG의 핵심은 “얼마나 방대한 지식을 아느냐”가 아니라 “얼마나 사용자의 로컬 컨텍스트를 안전하고 정확하게 그래프로 연결하느냐”이다.
[그림3]