Apex B. OpenClaw, 로컬 임베딩

Source: Dev.to

프라이빗 메모리 검색을 위한 로컬 임베딩

기본적으로 OpenClaw의 메모리 검색은 텍스트를 외부 임베딩 API(보통 Anthropic 또는 OpenAI)로 보내어 의미 검색용 벡터 임베딩을 생성합니다. 이는 잘 동작하지만 두 가지 단점이 있습니다: 쿼리당 비용이 발생하고, 메모리 내용이 내 컴퓨터를 떠납니다.

완전히 로컬, 무료, 프라이빗한 메모리 검색을 원한다면 node-llama-cpp와 작은 GGUF 임베딩 모델을 사용하도록 OpenClaw를 설정할 수 있습니다. 이는 Mac Mini에서 완전히 실행됩니다 — API 호출 없이, 데이터가 머신을 떠나지 않습니다.

메모리 검색 활성화

openclaw config set memory.search.enable true

임베딩 제공자를 로컬로 설정

openclaw config set memory.search.provider local

변경 사항 적용을 위해 게이트웨이 재시작

openclaw gateway restart

OpenClaw는 자동으로 경량 GGUF 임베딩 모델을 다운로드하고 메모리 파일을 인덱싱하기 시작합니다. 기본 사양의 Mac Mini(16 GB RAM)에서도 충분히 원활히 동작합니다 — 임베딩 모델은 전체 LLM에 비해 매우 작습니다.

1,000개 이상의 파일을 처음 인덱싱하는 데는 몇 분 정도 걸립니다. 이후 새로운 파일은 점진적으로 인덱싱됩니다.

검색 품질은 키워드 및 토픽 매칭에 매우 좋습니다. 미묘한 의미 검색에 있어 최첨단 임베딩 API와 동일한 품질을 제공하진 않지만, “X에 대해 내가 어떤 결정을 내렸는가”와 같은 검색에는 충분합니다.

지속 비용 0. 데이터가 머신을 떠나는 일도 없음.

로컬 vs. API 임베딩 언제 사용할까

로컬 (대부분에 권장)

• 무료이며 프라이빗합니다.
• 대부분의 경우에 충분히 빠릅니다.
• 설정을 에어갭하거나 비용을 최소화하고 싶을 때 이상적입니다.

API 기반 (Anthropic, OpenAI 또는 Gemini)

• 대규모 메모리 스토어에 대해 더 높은 의미 품질을 제공합니다.
• 파일이 수천 개이고, 미묘한 쿼리에 대해 정확한 회상이 필요하며, 비용이나 데이터 외부 전송이 문제되지 않을 때 사용합니다.

Gemini 무료 티어 (중간 옵션)

• 이미 Gemini API 키가 설정돼 있다면, 품질이 괜찮은 가장 저렴한 API 기반 대안이 됩니다.