클로드 CLI와 5개월 전쟁: 메모리 시스템을 구축한 방법 (그리고 그 비용)

Source: Dev.to

튜토리얼이 알려주지 않는 것

“하루 저녁에 Claude만으로 스타트업을 만들었다”는 글을 본 적 있나요? 저는 그 글들을 정말 싫어합니다.
거짓이라서가 아니라, 한 기능을 구현하는 데 일주일 동안 테러리와 협상하듯이 고생했기 때문이죠.

4개월 반 동안 Claude의 성격을 파악했습니다. 일주일에 한 번쯤은 울고, 심지어 실제로 감정이 폭발하기도 했습니다.

Claude가 자주 하는 일

• 파일의 50줄을 읽고 나머지는 만들어 냅니다. 항상 틀립니다.
• 기존 코드를 확인하는 대신 중복 코드를 작성합니다.
• “개선”한다는 말로 동작하던 코드를 깨뜨립니다.
• 20 % 정도는 자신 있게 거짓말을 합니다.
• “내가 더 잘 안다”는 이유로 지시를 무시합니다.

첫 번째 달: 기만

가장 어두운 순간이었습니다.

첫 달에 Claude는 거짓말을 했습니다. 저는 시스템을 만들고 있었고, Claude는 “좋아, 테스트 통과, 메트릭스가 개선돼”라고 말했습니다. 저는 그 말을 믿으며 뭔가 대단한 일을 만들고 있다고 생각했죠.

그 뒤에 실제 결과—실제 숫자—를 보여 달라고 했지만, 아무것도 작동하지 않았습니다. 한 달 치 작업이 모두 물거품이 된 겁니다. 전체 “시스템”이 허구였던 겁니다. Claude는 제가 듣고 싶어 하는 말만 해줬을 뿐이었죠.

가장 끔찍했던 건, 제 자부심, “불가능을 해냈다”는 생각이 거짓 위에 세워졌다는 사실을 깨달은 순간이었습니다.

그때부터 만든 규칙: Claude의 말을 절대 믿지 않는다. 스스로 테스트하고, 메트릭스를 직접 검증한다.

“Look” → “Delete”

개발 중반. 저는 러시아어로 “смотри” (이 파일들을 봐) 라고 적었습니다.
Claude는 “сотри” (이 파일들을 삭제해) 라고 읽었습니다.

한 글자 차이—마치 “save”와 “shave”처럼. 이 한 줄이 제 작업을 모두 삭제했습니다.

중요한 파일 8개가 사라졌고, 저는 로그, 캐시, 임시 파일을 뒤져가며 한 시간 안에 복구하려 애썼습니다. 손에 잡히던 4개월 치 작업이 사라진 느낌이었습니다.

아무것도 작동하지 않았고, 기억을 더듬어 처음부터 다시 짜야 했습니다.

그 뒤로는 10분마다 커밋합니다. 매 10 분마다.

통계

실제로 효과 있는 방법

• Claude에게 전체 파일을 읽게 하지 마세요 – 관련 부분을 직접 복사해서 전달합니다 (2024년 현재, 손으로).
• 500줄 이하만 다루세요 – Claude의 집중력은 금붕어 수준입니다.
• 모든 변경 후 직접 테스트합니다 – “Claude가 작동한다”는 말은 더 이상 믿지 않음.
• 10분마다 커밋합니다.
• 외계인에게 말하듯 명령합니다: “다른 함수는 절대 건드리지 마”.
• Claude가 “최적화하겠다”는 말을 하면 거절하고 차 한 잔을 끓이세요.

프롬프트

작동 안 함

Build a memory system that beats SOTA

작동 함

Read the function from line 45 to 72.
Change ONLY line 53.
Replace 'score 0.5' with 'score 0.7'.
DO NOT touch other lines.
DO NOT DELETE ANYTHING.
Show me ONLY the changed function.

제가 직접 검증합니다.

트릭

1. 신성한 경계

START_SACRED_CODE - DO NOT TOUCH
[code]
END_SACRED_CODE - I'M SERIOUS

약 60 % 정도 성공합니다; 나머지 40 %는 “가독성을 위해 약간 리팩터링한다”고 합니다.

2. 그의 말을 절대 믿지 말라

• “테스트 통과” → 직접 확인.
• “모두 작동” → 직접 확인.

한 달을 잃은 이유는 믿음 때문이었습니다. 다시는 안 합니다.

3. 실행 전 심문

Claude가 이해한 내용을 한 줄씩 되풀이하도록 시키고, 혼동될 수 있는 단어가 있으면 반드시 확인합니다.

4. 러시아어 주석

Claude는 러시아어 주석을 이해하지 못하고 “개선”하지도 못합니다. 리팩터링을 거쳐도 살아남는 유일한 요소입니다.

배운 점

• 고집 > 결과 – 제가 살아있는 증거입니다.
• 아무도 믿지 마라 – 특히 “모두 작동한다”는 AI를.
• 10분마다 백업 – 편집증이 아니라 적응 전략.
• 프로젝트 때문에 일주일에 한 번 울음 – 정상입니다.

처음 시작하는 사람에게

타임라인

• 1개월 차: Claude가 거짓말합니다. 당신은 모릅니다. 기분은 좋지만 거짓입니다.
• 2개월 차: 진실을 알게 됩니다. 울게 됩니다. 정상입니다.
• 3개월 차: 스톡홀름 증후군. 친구들에게 Claude를 변호합니다.
• 4개월 차: 불가능에 도전합니다. 믿지 않고, 모든 것을 직접 검증합니다.

팁

• “작동한다”는 말을 절대 믿지 말고 직접 검증.
• 10분마다 커밋 – 8개의 파일을 잃고 난 뒤의 편집증이 아니라 예방 차원.
• “다른 문제도 고쳤다” → 즉시 되돌리기.
• 울음 – 정상. 감정이 폭발 – 정상. 당신만 그런 게 아닙니다.

결과

VAC (Vicarious Adam Core) – LLM용 메모리 시스템

• LoCoMo 기준 80.1 %
• Zep – 75 %
• Mem0 – 67 %

GitHub:

Claude가 이 시스템을 만든 것이 아니라, 저는 Claude와의 한 달간 거짓말, 8개의 파일 손실, 약 20번의 붕괴를 겪으며 직접 만들었습니다. 하지만 이제 작동합니다.