음, 어디까지 했지?
출처: Dev.to
소개
최근 글 “AI, the New UI, Not the New API”에 달린 댓글을 받았다. 내용은 다음과 같다.
우리는 이미 슈퍼마켓이 AI가 대체한 제품에 대한 책임을 주문한 고객에게 돌려주는 단계에 도달했습니다… 이제 이를 모든 분야에 확대하면… 그리고 비용을 상상해 보세요!
이 사용 사례는 바로 단축된 접근법, 즉 아키텍처 문제의 실제 증상을 보여줍니다: 확률적인 에이전트가 엄격한 제약 없이 구체적인 시스템 변화를 실행하도록 하면 어떤 일이 일어날까요?
암묵적 지식
이전 글에서 나는 인간을 “엔트로피 감소자”라고 불렀다. AI도 확률적인 감소자이지만, 인간은 의식적으로든 무의식적으로든 자신이 가진 많은 맥락을 드러내지 않는다. AI는 그 맥락에 접근할 수 없기 때문에 같은 결정을 내릴 수 없다. 이는 AI 연구에서 뜨거운 논쟁거리인 암묵적 지식과 숨겨진 상태와 직결된다.
숨겨진 상태의 힘
식료품 대체 사례에서 인간이 결정을 내릴 때는 학습된 경험을 활용한다.
“가게에 전유가 없어요. 저는 저지방 우유를 고를 거예요, 하지만 파트너가 맛을 싫어해서 두유는 절대 안 골라요.”
이 선호는 숨겨진 상태다. 인간은 이를 알고 있지만 장바구니 목록에는 존재하지 않는다. 슈퍼마켓 앱에서 대체를 수행하는 AI는 사용자 장바구니, 매장 재고, 일반적인 유사도 매칭 알고리즘이라는 명시적인 컨텍스트만을 가진다. 인간이 평생 동안 축적한 다중모달 학습 데이터가 없기 때문에 실패한다. 선호가 시스템에 등록되면 AI는 결국 따라잡겠지만, 그때까지 사용자는 두유를 받게 된다.
컨텍스트 병목 현상
이것은 시스템 설계에 거대한 병목을 만든다. 우리는 AI가 모호하고 확률적인 작업을 처리하길 원하지만, 방대한 인간 맥락을 기계의 컨텍스트 창으로 부드럽게 옮길 방법이 아직 없다.
인간이 무심코 이 맥락을 드러내지 못하면 AI는 일반적인 확률에 의존한다. “잘못된” 결정을 내는 것이 아니라, 극히 제한된 데이터셋을 기반으로 가장 수학적으로 가능성이 높은 결정을 내릴 뿐이다.
인간: 궁극적인 엔트로피 감소자, 정말일까?
내 글들을 되돌아보면 인간은 사실 컨텍스트 앵커에 가깝다. 우리는 확률적 결정을 엄격하고 개인화된 현실에 고정한다. AI가 엉뚱한 식료품 대체를 hallucinate 하면, 시스템은 인간이 개입해 숨겨진 컨텍스트를 적용하고 오류를 거부하도록 기대한다. 이렇게 해서 확률 파동이 결정론적 결과로 수렴한다.
그러나 컨텍스트 부피가 늘어남
사용자 선호 문제를 해결할 수 있을까? 가능하다. AI 의사결정을 미세하게 조정하는 교정 마이크로‑프롬프트를 도입하면 된다. 문제는 교정 프롬프트가 사후 처리이며, 무상태 대화에서는 사실상 무용지물이라는 점이다. 모두를 뒤에 붙이면 컨텍스트가 부피만 늘어난다.
RAG (Retrieval‑Augmented Generation) 도입
AI에게 컨텍스트 부피를 강제로 주입하고 싶지는 않다. 가장 단순한 대안은 추가 컨텍스트와 함께 모델을 다시 학습시키는 것이다. 기대대로 동작하지만 비용이 막대하다. 모델 재학습은 재정 운영(FinOps) 관점에서 악몽이다.
RAG는 모델을 동결한 채 사용자 선호 데이터베이스를 조회해 의미 있는 컨텍스트만을 실시간으로 가져와 AI에게 제공한다. 이렇게 하면 AI는 더 나은 결정을 내릴 수 있다.
이를 연결하면
사실 핵심 문제를 보여주기 위해 AI 사례가 꼭 필요하지 않다.
문제: 정신 모델 불일치
로비에 있는 전형적인 위/아래 버튼은 UX 실패를 보여준다. 사용자는 자신의 목표를 경직된 시스템 명령으로 번역해야 하며, 이는 종종 “잘못된 지시”로 이어진다. 버튼이 의도를 등록하는 용도인지, 엘리베이터를 특정 층으로 명령하는 용도인지 불분명하다. 힌트가 없고 UX가 목적을 전달하지 못한다.
사용자가 3층에 있다가 10층으로 가고 싶을 때 UP 버튼을 눌러야 한다(이동 방향). 하지만 엘리베이터가 현재 15층에 있으면 많은 사용자가 DOWN을 눌러 “엘리베이터를 나에게 내려오게” 하려 한다. 시스템 API는 사용자의 원하는 이동 궤적을 기대하지만, 사용자는 기계에 기계적인 명령을 내리려는 것이다. 이처럼 낮은 컨텍스트 상호작용은 오류를 초래한다.
해결책: 목적지 디스패치
현대 기술과 충분한 자원을 갖추면 로비에 모든 층을 위한 개별 버튼을 설치할 수 있다. UX는 “몇 층으로 가시겠습니까?”라는 질문만 남게 되어, 버튼 의미를 추측할 필요가 사라진다.
이 해결책은 UX가 여전히 중요함을 강조한다. 사전에 정제된 의도를 포착하는 것이 AI가 더 안전하고 정확한 결정을 내릴 수 있게 하는 핵심이다.