모두가 프롬프트를 최적화하고 있다. 나는 프롬프트가 이미 알고 있는 것을 최적화했다.
Source: Dev.to
이번 주에 영상을 보았는데, 한 크리에이터가 ChatGPT의 8 000‑character 지시 제한에 대한 “틈새”를 13 분 동안 설명했습니다.
요령: 전체 지시를 업로드한 파일에 넣고, 지시 입력란에 “follow full_instructions.txt”라고만 적는다.
댓글은 이 방법을 인생을 바꾸는 것이라고 부르는 사람들과 당연한 것이라고 여기는 사람들로 나뉘었다. 두 입장 모두 맞지만, 실제 문제를 놓치고 있다.
.txt 파일 요령은 문자 제한을 해결한다.
하지만 맥락은 해결하지 못한다. 그리고 맥락이 바로 AI 워크플로우를 방해하는 실제 병목이며, 프롬프트 크기가 문제가 아니다.
보이지 않는 사다리
대부분의 사람들은 같은 방식으로 컨텍스트 엔지니어링을 발견합니다. 그들은 이 사다리를 한 단계씩 올라가며, 각 단계가 답인 듯 느껴지지만 다음 벽에 부딪히게 됩니다.
| 레벨 | 무엇인가 | 해결하는 문제 | 해결하지 못하는 문제 |
|---|---|---|---|
| 0 – 지시 상자 | 모든 지시를 시스템 프롬프트에 압축 (톤, 포맷, 제약조건, 예시, 프로세스 단계) | 빠른 시작 | 문자 제한에 도달 → 잘라야 함 → AI가 더 일반화됨 |
| 1 – 업로드된 파일 | 전체 시스템 프롬프트를 문서로 이동; 지시 상자는 해당 문서를 가리키기만 함 | 문자 제한 해결 | 지속성 없음, 모듈화 없음 |
| 2 – 모듈형 컨텍스트 파일 | 행동 규칙, 예시, 도메인 지식, 스타일 가이드라인을 위한 별도 파일. 지시 상자는 라우터가 되어 예: For tone, reference voice.txt. For formatting, reference standards.txt. For domain context, reference knowledge-base.txt. | 다른 부분을 건드리지 않고 하나만 업데이트 | 여전히 세션에 묶여 있음; 장기 기억 없음 |
| 3 – 세션을 넘어 지속되는 컨텍스트 | 컨텍스트(행동, 지식, 기억)가 저장되어 매 새 세션에 자동 로드 | AI가 지난주에 만든 것을 기억 | 컨텍스트를 지속하고 검색하기 위한 인프라 필요 |
| 4 – 설계된 컨텍스트 아키텍처 | 구분된 지속 레이어(행동, 지식, 기억, 도구‑특정 컨텍스트)로 자체 유지 | AI가 자신이 알고 있는 것, 변경된 것, 잊어야 할 것을 아는 시스템 내에서 작동 | 설계·유지가 복잡하지만 가장 큰 효율을 제공 |
레벨 1과 레벨 4 사이의 격차가 진정한 효율이 존재하는 곳이며, 거의 아무도 이에 대해 이야기하지 않습니다.
컨텍스트 아키텍처가 실제로 어떻게 보이는가
행동 레이어
한 파일이 AI가 어떻게 행동하는지를 정의합니다 – 무엇을 아는지는 아닙니다.
브랜드 목소리, 규칙, 의사결정 패턴, 보안 규칙, 그리고 피해야 할 항목들을 포함합니다.
- 대부분의 사람들은 이를 8 000‑character 박스에 억지로 넣으려 합니다.
- 분리하면 아주 작습니다.
- 행동 파일은 모든 프로젝트의 루트에 위치하며 세션 시작 시 자동으로 로드됩니다 – 복사‑붙여넣기 없이, “이 규칙을 기억하라” 같은 요구도 없습니다. 이는 인프라이며, 지시가 아닙니다.
지식 레이어
470+ 노트(아키텍처 결정, 디버깅 패턴, 이전 연구)를 보유한 지식 유지 엔진.
- 마크다운 파일에서 ingest(수집)됩니다.
- 로컬 모델로 임베딩됩니다.
- 의미 기반 검색이 가능합니다.
이것은 채팅 창에 얹은 벡터 데이터베이스가 아니라, ingest, 요약, 태깅, 의미 검색을 지원하는 구조화된 시스템입니다.
전체 파이프라인은 **시리즈 1부**에서 설명합니다 – 지식 레이어는 동일한 듀얼‑모델 아키텍처(로컬 임베딩, 로컬 검색, API 비용 0) 위에서 실행됩니다.
메모리 레이어
**2부**에서 다룹니다.
- 다섯 개의 가중 섹터, 중요도 기반 감쇠, 시간적 대체, 그리고 여섯 개 신호에 걸친 복합 검색을 갖춘 인지 메모리 시스템.
- 핵심 통찰: 메모리는 평평한 사실 목록이 아닙니다. 유용한 항목은 강화되고 오래된 항목은 사라지는 살아있는 시스템입니다.
- 세션 50이 세션 1보다 똑똑한 이유는 컨텍스트가 누적되기 때문이며, 제가 수동으로 지식 베이스를 정리했기 때문이 아닙니다.
도구별 컨텍스트
제가 만든 각 도구는 자체적인 범위 컨텍스트를 가집니다:
| Tool | Scoped Context |
|---|---|
| Market scanner | 이미 분석한 내용 (Redis 중복 제거). |
| Receipt processor | 이전에 본 카테고리. |
| Expense tracker | 사용자의 예산 구조. |
모든 도구는 행동 레이어를 상속받아 일관된 목소리와 패턴을 유지하면서 데이터는 격리됩니다.
왜 이것이 .txt 파일 트릭보다 나은가
| Problem | .txt File (Level 1) | Engineered Context (Levels 2‑4) |
|---|---|---|
| 문자 제한 | 해결됨 | 해결됨 |
| 세션 간 일관성 | 해결되지 않음 – 매번 다시 업로드해야 함 | 자동 – 행동 레이어가 시작 시 로드됨 |
| 오래된 컨텍스트 | 해결되지 않음 – 파일이 오래됨 | 감소 + 상위 세션이 오래된 정보를 자동으로 퇴출 |
| 다중 도메인 지식 | 하나의 큰 파일이 다루기 어려워짐 | 모듈형 레이어, 각각 독립적으로 관리 |
| 과거 작업으로부터 학습 | 해결되지 않음 | 메모리가 세션 간에 누적 |
| 도구 상호 운용성 | 해당 없음 | 공유 행동 레이어, 범위가 지정된 데이터 레이어 |
.txt 파일은 한 걸음 나아간 것이지만, 여전히 컨텍스트를 정적인 문서로 취급하고 동적인 시스템으로 다루지는 못합니다.
아키텍처 패턴
레벨 1을 넘어가고 싶다면, 다음 사고 모델을 채택하세요:
- Behavior – 행동 방식
- 작고, 자동으로 로드되며, 거의 변하지 않음.
- 운영 체제와 같다고 생각하세요.
- Knowledge – 알아야 할 것
- 크고, 검색 가능하며, 섭취를 통해 업데이트됨.
- 파일 시스템과 같다고 생각하세요.
- Memory – 최근에 중요했던 것
- 가중치가 부여되고, 감소하며, 대체되고, 다중 신호 검색이 가능함.
- 시간이 지남에 따라 학습하는 RAM + 캐시와 같다고 생각하세요.
- Tool‑Specific Context – 각 도구가 현재 필요로 하는 것
- 범위가 지정되고 격리되지만, 행동 레이어를 상속함.
- 애플리케이션 수준 상태와 같다고 생각하세요.
이러한 관점을 분리하고 세션 간에 지속함으로써, AI를 기억력이 짧은 챗봇에서 지식이 풍부하고 일관되며 진화하는 어시스턴트로 바꿀 수 있습니다.
어디서 시작할까
현재 Level 0 또는 Level 1에 있다면, 다음과 같은 실용적인 진행 순서를 따라볼 수 있습니다:
- 동작과 내용을 분리하기
- 톤, 스타일, 규칙은 하나의 파일에 넣습니다.
- 도메인 지식은 다른 파일에 저장합니다.
- 두 가지를 섞지 않기.
- 동작을 자동으로 로드하기
- 프로젝트 설정, 시작 스크립트, 혹은 AI가 가장 먼저 읽는 파일을 사용합니다.
- 인간이 루프에 남지 않게 하세요—컨텍스트를 제공해야 한다면 잊어버릴 수 있습니다.
- 지속성 추가하기
- 세션 간에 AI의 핵심 결정과 패턴을 기록하는 간단한 SQLite 데이터베이스만으로도 사용자 90 %보다 앞설 수 있습니다.
- 시작에 임베딩이 필요하지 않습니다; 상태가 필요합니다.
- 검색 기능 추가하기
- 저장된 컨텍스트가 많아져서 모두 읽을 수 없게 되면 검색이 필요합니다.
- 임베딩은 의미 검색을 가능하게 하며, 로컬 임베딩 모델은 실행 비용이 전혀 들지 않습니다.
- 소멸(Decay) 추가하기
- 이것이 직관에 반하는 단계입니다. 대부분의 사람들은 AI가 모든 것을 기억하길 원하지만, “모든 것”에는 되돌린 결정, 잘못된 패턴, 두 달 전의 세션 노트까지 포함됩니다.
- 지능적으로 잊어버리는 시스템이 무작정 기억하는 시스템보다 더 뛰어납니다.
Source: …
실제 익스플로잇
그 비디오에서는 .txt 파일 트릭을 “익스플로잇”이라고 부릅니다. 실제로는 그렇지 않으며, 단지 문서를 읽는 것입니다.
실제 익스플로잇은 다음과 같습니다: 대부분의 AI 사용자는 더 나은 프롬프트를 최적화하면서 해당 프롬프트가 작동하는 컨텍스트를 무시합니다. 잘 설계된 컨텍스트 시스템 안의 평범한 프롬프트는 빈 세션 안의 뛰어난 프롬프트보다 매번 더 좋은 성능을 보입니다.
- Prompt engineering은 질문합니다: “AI에게 무엇을 해야 하는지 어떻게 알려줄까?”
- Context engineering은 질문합니다: “AI가 작업을 시작할 때 이미 무엇을 알고 있는가?”
두 번째 질문이 더 어렵고, 복합적인 영향을 줍니다.
이것은 Part 3 of my Local AI Architecture series.
- Part 1은 dual‑model orchestration을 다루었습니다 – AI 워크로드의 80 %를 무료 로컬 모델로 라우팅합니다.
- Part 2는 cognitive memory를 다루었습니다 – 왜 AI가 잊어야 하는지.
- 다음: 비전 파이프라인과 OCR API에 대한 비용을 중단한 이유.
저는 소비자 하드웨어에서 비용 제로 AI 도구를 구축합니다. 팩토리는 Docker, Ollama, 그리고 하나의 GPU로 실행됩니다. 그 도구들이 만들어내는 것은 아무것도 필요하지 않습니다.