하나의 영혼, 모든 모델: .klickd가 만든 오픈소스 에이전트용 휴대 메모리
출처: Dev.to
이 글은 Hermes Agent Challenge: Build With Hermes Agent에 대한 제출물입니다.
Hermes Agent와 .klickd(AI 에이전트를 위한 오픈 포터블 메모리 포맷) 사이의 프로토타입 통합을 만들었습니다.
제가 탐구하고 싶었던 문제는 간단합니다.
새로운 에이전트 세션이 시작될 때마다 이미 존재하는 컨텍스트를 다시 찾아야 하는 비용이 발생합니다.
그 반복되는 컨텍스트 비용은 다음과 같은 형태로 나타납니다.
- 프로젝트 상태를 다시 설명해야 함
- 제약 조건을 다시 로드해야 함
- 이전 결정을 다시 찾아야 함
- 인수인계 노트를 다시 작성해야 함
- 동일한 실패를 찾기 위해 테스트를 다시 실행해야 함
- 어떤 행동이 인간 승인을 필요로 하는지 추적을 잃음
.klickd는 이러한 반복 컨텍스트를 에이전트가 작업을 시작하기 전에 로드할 수 있는 포터블하고, 암호화된, 버전 관리된 파일로 전환하도록 설계되었습니다.
Hermes Agent는 스킬, 플러그인, 훅, 승인, 로컬 실행, 에이전시 워크플로 오케스트레이션을 갖춘 오픈소스 자체 호스팅 에이전트 런타임이기 때문에 테스트에 적합합니다.
이 프로젝트에서
- Hermes가 워크플로를 실행합니다.
- .klickd가 상태를 전달합니다.
프로토타입은 Context Cost Benchmark라는 벤치마크에 초점을 맞추며, 두 가지 모드를 비교합니다.
-
Baseline cold start
전체 컨텍스트가 매번 프롬프트에 붙여넣어집니다. -
.klickd-loaded mode
구조화된 컨텍스트가 .klickd 픽스처에서 로드되어 에이전트 워크플로에 주입됩니다.
벤치마크는 다음을 측정하도록 설계되었습니다.
- 반복 입력 토큰
- 출력 토큰
- 추정 비용
- 지연 시간
- 연속성 오류
- 잠긴 결정 위반
- 도구 권한 위반
- 인수인계 품질
- 비용이 많이 드는 명령의 불필요한 재실행
목표는 마법 같은 퍼센트 개선을 주장하는 것이 아니라, 재현 가능하게 에이전트가 이미 만든 상태를 다시 찾아야 하기 때문에 우리가 지불하고 있는 토큰과 오류가 얼마나 되는가를 측정하는 것입니다.
Hermes Agent Challenge를 위해, 저는 klickdskill 저장소 안에 실험적인 Hermes 통합을 만들었습니다.
데모는 Hermes Agent를 사용해 로컬 .klickd Context Cost Benchmark를 구동합니다.
hermes_klickd_agent_session_messages_json
임베디드 에이전트 세션이 올바르게 렌더링되지 않을 경우, 관련 Hermes 출력은 다음과 같습니다.
session_id: 20260523_004058_85115c
2026-05-23에 존재하던 아티팩트를 사용했습니다. 재실행이 필요하지 않았습니다.
Token-proxy 총합:
- Cold: 310
- Paste: 6570
- Klickd: 5270
검증된 아티팩트:
- report.md
- summary.csv
- raw_runs.jsonl
- artifacts/sample_test.log
출판, git 푸시, 외부 도구 호출은 수행되지 않았습니다.
실제 Hermes 실행에 사용된 환경:
- Hermes Agent v0.14.0
- OpenRouter 무료 모델 라우트
- 비용이 없는 API 키 (유료 예산 없음)
- 로컬 드라이런 벤치마크
- 프로덕션 배포 없음
- 패키지 퍼블리시 없음
- 외부 포스팅 없음
Hermes 세션: 20260523_004058_85115c
Hermes에게 klickd-context-cost 스킬을 사용하도록 요청하고, 벤치마크 출력을 검사하며, 내구성 있는 아티팩트가 이미 존재한다면 작업을 재실행하지 않도록 했습니다.
핵심 결과
2026-05-23에 존재하던 아티팩트를 사용했습니다. 재실행이 필요하지 않았습니다.
이는 .klickd v4의 핵심 아이디어 중 하나인 에이전트가 이미 존재하는 출력물을 다시 찾아 토큰이나 연산을 소비하지 않아야 한다는 점과 직결됩니다.
드라이런이 생성한 로컬 아티팩트는 다음과 같습니다.
benchmarks/context_cost/results/2026-05-23/
├── report.md
├── summary.csv
├── raw_runs.jsonl
└── artifacts/
└── sample_test.log
벤치마크 출력은 공백 토큰 프록시로 명시적으로 표시되었으며, 이는 OpenAI, Anthropic, 혹은 OpenRouter 토크나이저 카운트가 아니라 초기 검증을 위한 결정론적 로컬 프록시 값임을 의미합니다.
현재 드라이런 총합
| 조건 | Token-proxy 총합 |
|---|---|
| Cold start | 310 |
| 전체 컨텍스트 붙여넣기 | 6570 |
| .klickd 구조화 컨텍스트 | 5270 |
유용한 결과는 “.klickd가 비용을 X% 절감한다”가 아니라, 벤치마크 하네스가 이제 반복 컨텍스트 전략을 비교하고, 원시 증거를 생성하며, 아티팩트를 지속하고, Hermes가 동일 작업을 재실행하지 않고 그 아티팩트를 검사할 수 있게 되었다는 점입니다.
실제 에이전트 워크플로에서 흔히 발생하는 문제는 에이전트가 이미 만든 출력을 복구하기 위해 비용이 많이 드는 명령을 다시 실행한다는 것입니다. 이를 방지하기 위해 벤치마크에 다음과 같은 verification_artifacts[] 패턴을 도입했습니다.
command 2>&1 | tee .test-output/.log
테스트 스위트를 다시 실행해 실패를 찾는 대신, 에이전트는 지속된 아티팩트를 검사할 수 있습니다.
grep -n FAIL .test-output/full.log
.klickd v4에서는 이것이 구조화된 상태로 변환됩니다.
{
"command": "npm test",
"artifact_path": ".test-output/vitest.log",
"status": "failed",
"query_hint": "grep -n FAIL .test-output/vitest.log",
"checked_at": "2026-05-23T00:00:00Z",
"retention": "latest",
"scope": "project"
}
이렇게 하면 에이전트 메모리가 보다 운영적인 형태를 갖게 됩니다.
- 에이전트가 무엇을 알고 있는가
- 에이전트가 무엇을 검증해야 하는가
- 에이전트가 승인 없이 할 수 없는 일은 무엇인가
- 증거가 어디에 저장되는가
- 마지막에 무슨 일이 있었는가
저장소
https://github.com/Davincc77/klickdskill
Hermes POC 통합 경로
integrations/hermes/
├── README.md
├── skill/
│ └── SKILL.md
├── plugin/
│ ├── plugin.yaml
│ └── __init__.py
├── scripts/
│ └── run_context_cost_benchmark.py
└── tests/
Context Cost Benchmark 경로
benchmarks/context_cost/
├── RFC.md
├── runner.py
├── fixtures/
│ ├── baseline/
│ ├── klickd/
│ ├── prompts/
│ ├── validation/
│ ├── verification_artifacts/
│ └── edge_cases/
├── results/
└── tests/
현재 벤치마크 구성 요소
- RFC-003: Context Cost Benchmark
- 로컬 드라이런 러너
- 픽스처 검증
- 결정론적 토큰 프록시
- CSV / JSONL / Markdown 보고서
- 다음을 위한 엣지 케이스 픽스처:
- 마이그레이션/버전 파손
- 도구 호출 실패 복구
- 다중 세션 인수인계
현재 Hermes 통합에 포함된 내용
- Hermes 전용 스킬
- 실험적 플러그인 스캐폴드
- 로컬 벤치마크를 실행하는 래퍼 스크립트
- 래퍼에 대한 테스트
- 명시적 안전 제약:
- 래퍼에서 제공자 호출 금지
- 유료 리소스 사용 금지
- 퍼블리시 금지
- 프로덕션 배포 금지
- 비밀 정보 사용 금지
Hermes Agent — 오픈소스, 자체 호스팅 에이전트 런타임
https://github.com/NousResearch/hermes-agent
Hermes Agent 문서
https://hermes-agent.app/en/docs
.klickd / klickdskill — 포터블 암호화 AI 컨텍스트 포맷
https://github.com/Davincc77/klickdskill
.klickd 공식 페이지
https://klickd.app/klickdskill
Python SDK — 로컬 .klickd 로드/저장
현재 개발용 설치 (PyPI 업데이트 전):
pip install "git+https://github.com/Davincc77/klickdskill.git@main#subdirectory=packages/pypi/klickd"
현재 Python import:
from klickd import load_klickd, save_klickd
GitHub Actions — 테스트 벡터 및 패키지 무결성 검사
- CSV / JSONL / Markdown — 벤치마크 보고서
- 로컬 검증 아티팩트 — 에이전트 검사를 위한 지속 로그