RAG는 시간에 눈이 멀었다 — 프로덕션에서 이를 해결하기 위해 Temporal Layer를 구축했다

Source: Towards Data Science

개요

테스트를 시작한 지 3주 차에 한 학습자가 내 AI 튜터가 잘못된 답을 줬다고 말했습니다.
명백히 틀린 것은 아니었지만, 충분히 오래돼서 오해를 일으킬 정도였습니다.

그때 나는 대부분의 RAG 시스템이 조용히 무시하는 무언가를 깨달았습니다: 시간 감각이 없다는 것. 내 시스템은 가장 최신의 문서가 아니라 가장 유사한 문서를 검색했습니다. 지속적으로 변하는 지식 베이스에서는 이것이 심각한 결함입니다.

해결책은 검색기나 모델에 있지 않았습니다. 그 사이의 간극에 있었습니다. 나는 만료된 사실을 필터링하고, 시간‑민감한 신호를 강화하며, 시스템이 단순히 일치하는 것뿐 아니라 여전히 사실인 것을 선호하도록 하는 시간 레이어를 구축했습니다.