Context Rot: AI가 완벽한 프롬프트를 잊어버리는 이유

Source: Dev.to

Introduction

당신은 코딩 세션에 깊이 빠져 있습니다. AI 비서는 첫 한 시간 동안 완벽히 작동했어요—요구사항을 이해하고, 당신의 코딩 스타일을 따르며, 기능을 깔끔하게 구현했죠. 그런데 갑자기 금붕어와 대화하는 느낌이 됩니다.

새로운 요청마다 버그가 생깁니다. 처음에 설정한 제약 조건을 무시하고, 같은 지시를 반복해서 해야 하는 상황에 처하게 되죠. “내 말을 듣고 있나요?” 라는 생각이 들게 됩니다.

이런 상황이 익숙하다면, 당신만 그런 게 아닙니다. 그리고 더 중요한 것은, 당신이 미친 것이 아니라는 점입니다.

Tokenization

실제로는 무슨 일이 일어나고 있는지 살펴보겠습니다. AI는 인간처럼 텍스트를 처리하지 않습니다. 당신의 말을 이해하기 전에 모든 것이 토큰이라는 형태로 변환됩니다. 마치 동전 기계에 지폐를 넣는 것과 비슷하지만, 여기서는 돈 대신 단어를 넣는 셈이죠.

Example

Input: "hello world"
Output: 3 tokens

일반적으로 하나의 토큰은 약 3/4개의 단어 혹은 4개의 문자에 해당합니다. 모델마다 토큰화 알고리즘이 다르기 때문에 같은 텍스트라도 제공업체에 따라 토큰 수가 달라질 수 있습니다.

API나 CLI 버전의 LLM을 사용한다면, 토큰당 비용을 지불하게 됩니다:

• GPT‑4o: 입력 토큰 백만 개당 $3, 출력 토큰 백만 개당 $15
• GPT‑4: 입력 토큰 백만 개당 $30, 출력 토큰 백만 개당 $60

하지만 비용이 전부는 아닙니다.

Context Rot

토큰이 고정 용량의 컨베이어 벨트 위에 놓인다고 상상해 보세요. 더 많은 단어를 넣을수록 오래된 토큰이 앞으로 밀려 나갑니다. 벨트가 가득 차면 앞쪽에 있던 토큰이 떨어져 버리고, 기억에서 사라집니다.

20분 전에 만든 완벽한 프롬프트? 공유한 중요한 오류 메시지? 만약 그것들이 컨베이어 벨트에서 밀려 나갔다면, AI의 기억에서 사라진 것입니다.

이것이 바로 **컨텍스트 로트(context rot)**이며, 코딩 어시스턴트가 대화 중에 기억 상실증에 걸리는 이유를 설명합니다.

What You Can Do About It

좋은 소식은? 상황을 이해하면, 그에 맞춰 작업할 수 있다는 점입니다. 저는 긴 코딩 세션 동안 정신 건강을 지키기 위해 사용한 전략들을 정리했습니다.

다음에 이어질 내용: 컨텍스트 로트를 관리하고 개발 워크플로 전체에 걸쳐 AI 어시스턴트를 집중시킬 수 있는 실용적인 기법들.

이 포스트는 제가 실제 코딩 경험을 통해 얻은 인사이트를 공유하는 “Learning Out Loud” 시리즈의 일부입니다. 또한 LinkedIn에서 영상 버전을 시청하실 수 있습니다. 더 많은 실용적인 AI 개발 팁을 원한다면 팔로우해주세요.