당신의 AI 에이전트가 기억상실증에 걸렸습니다. 해결 방법은 여기 있습니다.
Source: Dev.to
AI 메모리 문제
아마도 한 세션에서는 잘 작동하던 AI 에이전트를 만들었지만, 다음 번에 실행했을 때 자신이 누구였는지, 함께 만든 것이 무엇인지, 혹은 무엇을 배웠는지 전혀 기억하지 못하게 된 경험이 있을 겁니다. 큰 시스템 프롬프트, 벡터 스토어, 혹은 마지막 N 개의 메시지를 컨텍스트에 넣는 방식은 일시적인 해결책에 불과하며, 올바른 해결책이 아닙니다.
컨텍스트 윈도우가 메모리가 아닌 이유
컨텍스트 윈도우는 RAM과 같습니다: 프로세스가 종료되면 사라집니다. 실제 메모리는 RAM이 할 수 없는 세 가지 일을 합니다.
- 세션 간 지속 – 재시작 후에도 살아남습니다.
- 지능적인 소멸 – 잡음을 잊고 중요한 것만 유지합니다.
- 구조 형성 – 단순히 “여기 N개의 유사 청크가 있다”가 아니라 관계를 이해합니다.
벡터 스토어는 지속성을 제공하지만, 지능적인 소멸과 구조화된 관계에서는 실패합니다. 결국 평평한 임베딩 더미가 시간이 지날수록 잡음이 늘어나고 쿼리 비용도 증가합니다.
당신이 실제로 필요한 것은 무엇을 유지하고, 무엇을 잊으며, 어떻게 관계를 맺을지를 결정하는 메모리 시스템입니다.
우리가 만든 것
우리는 TinyHumans 를 구축하고 있으며, 그 핵심인 NeoCortex 메모리 레이어를 개발하고 있습니다.
NeoCortex가 “그냥 Chroma를 사용한다”와 차별화되는 두 가지 메커니즘:
- 노이즈 가지치기 – 가치가 낮은 메모리는 자동으로 소멸하고 제거되어, NeoCortex는 품질 저하 없이 10 M+ 토큰을 처리할 수 있습니다. 검색 품질은 시간이 지날수록 잡음에 압도되지 않고 향상됩니다.
- GraphRAG – 평평한 임베딩 리스트 대신, NeoCortex는 엔터티, 관계, 컨텍스트를 포함하는 지식 그래프를 구축합니다. 쿼리는 그래프를 탐색해 구조화되고 풍부한 답변을 반환하며, 단순히 유사 청크 목록을 제공하는 것이 아닙니다.
그 결과는 인간의 기억과 더 유사한 “두 번째 뇌”가 됩니다: 중요한 내용은 남고, 잡음은 사라지며, 관계가 이해됩니다.
생산성 향상을 넘어 중요한 이유
메모리는 오늘날 무상태 LLM과 진정한 AGI 사이에 놓인 누락된 아키텍처 레이어입니다. 현재 최첨단 모델들은 세션 내에서는 뛰어난 추론 능력을 보이지만, 호출 간에 기억을 잃어버립니다—그들은 자신이 누구와 작업하고 있는지, 그 사람이 무엇에 관심이 있는지, 혹은 그 사람이 어떻게 생각하는지를 축적하지 못합니다.
Alpha Human은 NeoCortex 위에 구축 중인 소비자 제품으로, 이 격차를 메우는 것을 목표로 합니다: 사용자를 위한 잠재 의식 모델을 구축하는 AI. 사용 시간이 길어질수록 사용자의 사고 방식, 컨텍스트, 패턴을 더 잘 이해하게 됩니다. NeoCortex는 이를 가능하게 하는 인프라입니다.
현재 실시간 서비스
- TinyHumans API – tinyhumans.ai 에서 제공됩니다. Python SDK, 다른 언어용 REST API, LangChain, CrewAI, LlamaIndex와의 통합을 지원하는 종량제 방식입니다.
- Alpha Human 베타 – 수요일에 오픈합니다. 조기 접근을 원하시면 founders@tinyhumans.ai 로 이메일을 보내거나 Discord에 참여하세요.
사용해 보기
pip install tinyhumansai불편함이 있으면 우리 Discord 에서 토론에 참여하세요. 흥미로운 무언가를 만들고 공유해 주시는 분들께는 무료 API 크레딧을 제공하고 있습니다— https://x.com/tinyhumansai 로 DM 주세요.