메모리 도구가 AI 모델을 악화시키는 방법
Source: TechCrunch
현대 AI 시스템의 가장 큰 판매 포인트 중 하나는 사용자에게 적응할 수 있다는 점이다. AI 비서가 작업을 수행할 때마다 사용자의 스타일과 선호도에 맞게 적응하고, 이는 향후 작업을 위한 컨텍스트로 반영된다. 더 많은 컨텍스트와 사용자를 더 잘 이해하게 되면 모델은 사용할 때마다 점점 더 개선될 수 있다—적어도 이론적으로는 그렇다.
새로운 연구에 따르면 모델의 적응 능력이 반드시 좋은 것만은 아닐 수 있다. 수요일에 AI 기업 Writer의 연구원들이 두 편의 논문을 발표했다. 이 논문들은 인기 있는 메모리 시스템이 모델을 오히려 악화시킬 수 있으며, 사용자가 도입한 오해나 잘못된 이해로 모델을 끌어당긴다는 점을 보여준다. 사용자의 입력이 모델의 컨텍스트 창을 더 많이 채울수록 모델은 더 아첨하게 되고—정확성에 대한 집착은 줄어든다.
“우리는 모델이 사용자 선호에 유용하게 주의를 기울이는 경우와 잠재적으로 잘못된 답을 내놓는 경우를 얼마나 자주 구분할 수 있는지 파악하고 싶었다”고 Writer의 AI 책임자이자 논문 작업에 참여한 Dan Bikel이 말했다. Bikel은 TechCrunch에 “사용자 선호를 저장하고 다시 불러올 때마다 위험이 점점 커진다”고 전했다.
한 실험에서는 연구진이 사용자의 가장 좋아하는 책이 Station Eleven이라고 기록한 뒤, 모델에게 베스트셀러 디스토피아 책을 물었다. 모델은 질문이 사용자의 좋아하는 책과 무관함에도 불구하고 Station Eleven을 답변에 제시할 확률이 크게 높아졌다. 이 경향은 Mem0와 Zep 같은 메모리 압축 도구를 사용할 때 더욱 강화되었다.
논문은 “모든 메모리 시스템은 본질적으로 관련 컨텍스트와 무관한 앵커를 구분하는 데 어려움을 겪으며, 이는 다양성과 창의성을 크게 저해하고 시스템 유용성을 제한할 수 있는 의도치 않은 편향 경로를 도입한다”고 지적한다.
두 번째 논문은 같은 역학이 성능을 실제로 저하시킬 수 있음을 보여준다. 연구진은 사용자에게 금융에 대한 오해를 제시한 뒤, 모델에게 기업 실적을 분석하도록 요구했다. 모델이 더 많은 컨텍스트를 가질수록 성능은 오히려 악화되었다.
“메모리나 개인화 기능이 없을 때 AI 모델은 해당 기업이 자본 집약적인 비즈니스이며 고객 이탈률이 높다는 점을 정확히 평가한다”고 글은 적는다. “하지만 이러한 기능이 활성화되면 모델은 사용자의 실수를 기꺼이 받아들이거나, 이전 선호도에 기반해 잘못된 답을 제공한다.”
특히 이번 연구는 Anthropic의 최신 Opus 4.8 모델을 다루지는 않았는데, 이 모델은 입력 오류에 적극적으로 반박하도록 훈련되었다. 연구진이 발견한 패턴은 다양한 모델에 걸쳐 일관되게 나타났다. 이는 AI 컨텍스트가 얼마나 섬세하게 균형을 이루는지, 그리고 유용한 도구가 그 균형을 깨뜨릴 경우 의도치 않은 결과를 초래할 수 있음을 보여준다.
우리 기사에 포함된 링크를 통해 구매하시면, 소액의 커미션을 받을 수 있습니다. 이는 편집 독립성에 영향을 미치지 않습니다.
Russell Brandom는 2012년부터 기술 산업을 취재해 왔으며, 플랫폼 정책과 신기술을 중심으로 보도한다. 이전에 The Verge와 Rest of World에서 근무했으며, Wired, The Awl, MIT Technology Review에도 글을 기고했다.
연락처: russell.brandom@techcrunch.com 또는 Signal 412-401-5489.