멀티-LLM 컨텍스트 관리의 숨겨진 도전

Source: Dev.to

왜 토큰 카운팅은 여러 공급자를 아우르는 구축 시 해결된 문제가 아닌가

여러 LLM 공급자를 아우르는 AI 제품을 만들 때 대부분의 개발자가 직면하기 전까지는 예상하지 못하는 문제가 있습니다: 컨텍스트 윈도우가 서로 호환되지 않는다.

표면적으로는 다중‑LLM 시스템에서 컨텍스트를 관리하는 것이 간단해 보입니다. 대화 길이를 추적하고, 필요하면 잘라내고, 계속 진행하면 됩니다. 실제로는 훨씬 복잡합니다 — 그리고 OpenAI, Anthropic, Google, Cohere, xAI 등과 같이 공급자를 오가며 요청을 라우팅한다면, 제품을 미묘하게 깨뜨릴 수 있는 근본적인 불일치가 존재합니다.

토크나이징 문제

모든 주요 LLM 공급자는 자체 토크나이저를 사용합니다. 이 토크나이저들은 서로 일치하지 않습니다. 같은 텍스트 블록이라도 어떤 모델이 처리하느냐에 따라 토큰 수가 달라집니다. 차이는 보통 10–20%이며, 때로는 그보다 더 큽니다.

실제로 이것이 의미하는 바는: 한 모델의 컨텍스트 윈도우에 편안히 들어가는 대화가 다른 모델에서는 조용히 초과될 수 있다는 것입니다. OpenAI에 라우팅된 프롬프트는 1,200 토큰으로 계산될 수 있지만, 동일한 프롬프트를 Claude에 라우팅하면 1,450 토큰으로 계산됩니다. 그 차이가 중요합니다.

어디서 문제가 발생하는가

실패 모드는 주로 경계에서 나타납니다. 대화 중에 공급자를 전환하면, 새로운 모델은 전체 이전 컨텍스트를 모두 받아야 합니다. 컨텍스트‑관리 레이어가 이전 모델의 토크나이저에 맞춰 보정돼 있었다면, 새로운 모델은 이미 한계에 도달했거나 초과된 컨텍스트를 보게 되어, 새로운 입력에 응답하기도 전에 문제가 발생합니다.

이로 인해 흔히 나타나는 세 가지 실패 패턴이 있습니다:

• 예상치 못한 컨텍스트‑윈도우 초과: 이전에 정상적으로 동작하던 대화가 이제 한계를 넘습니다.
• 불일치하는 잘라내기: 모델마다 잘라내는 시점이 달라져, 모델이 실제로 보는 이전 컨텍스트가 달라집니다.
• 라우팅 실패: 시스템이 사용한 숫자와 모델이 실제로 사용하는 숫자가 일치하지 않아 예측할 수 없습니다.

왜 단순 추정이 실패하는가

본능적으로는 넉넉한 안전 마진을 두고 하나의 “토큰 추정치”를 유지하려 합니다. 문제는 필요한 마진이 공급자, 모델 버전, 그리고 콘텐츠 유형(코드는 산문과 다르게 토크나이즈됨)에 따라 달라진다는 점입니다. 한 사용 사례에 맞춘 마진은 다른 경우에는 너무 빡빡해 실패를 일으키거나, 너무 관대해 불필요한 잘라내기를 초래해 대화 품질을 저하시킵니다.

해결책: 공급자‑인식 토큰 카운팅

견고한 다중‑LLM 컨텍스트‑관리 레이어는 토큰 카운팅을 공급자별로 수행합니다. 하나의 추정치를 유지하는 대신, 실제 목표 모델이 측정하는 방식대로 각 프롬프트를 측정합니다. 라우팅 레이어는 이러한 공급자별 측정값을 사용해 요청을 보내기 전에 결정을 내립니다.

이를 통해 시스템은 컨텍스트 한계에 앞서 대응할 수 있습니다: 대화가 한계에 가까워지는 시점을 파악하고, 요청을 받는 특정 모델에 맞춰 히스토리를 잘라내거나 압축하며, 토큰 수를 잘못 계산해 발생하는 비용 및 실패 서프라이즈를 피합니다.

최종 결과는 사용자가 보게 될 모습입니다: 어떤 모델이 서비스를 제공하든 매끄러운 대화 경험을 제공합니다. “모든 모델이 약간씩 다른 토큰 언어를 사용한다”는 복잡성은 인프라 레이어 안에 머물러, 제품을 사용하는 사람들에게는 보이지 않게 됩니다.

Rob Imbeault – Apr 17, 2026