🚀 MemCloud 소개 — LAN에서 사용되지 않은 RAM을 머신 간에 풀링 (Rust, Zero-Config)

Source: Dev.to

소개

안녕하세요 DEV 커뮤니티! 👋
사이드 프로젝트로 시작했지만, 생각보다 유용하고 재미있으며 Rust스럽게 만든 것이 있습니다.

MemCloud는 LAN에 있는 여러 머신의 RAM을 하나의 일시적인 “메모리 클라우드”로 풀링해 주는 분산 인‑메모리 데이터 스토어입니다.

사용 사례: Mac, Linux 머신, 그리고 여분의 미니‑PC가 있나요? MemCloud가 자동으로 하나의 큰 RAM 캐시로 만들어 줍니다.

저는 종종 ML 실험, 개발 서버, 로그 프로세서를 실행하면서 한 머신은 RAM이 부족하고 옆에 있는 다른 머신은 한가하게 놀고 있는 상황을 겪습니다. 그래서 다음과 같은 도구가 필요했습니다:

• 오프라인에서도 동작
• 로컬에서 실행
• 설정이 전혀 필요 없음
• 피어를 자동으로 발견
• 밀리초 단위로 장치 간 데이터를 저장/로드 가능

그래서 저는 MemCloud를 만들었습니다. 작은 Rust 데몬 + CLI + SDK 로 구성된 이 도구는 LAN 상에서 피어‑투‑피어 RAM 메쉬를 형성합니다. 모든 memnode가 자신의 RAM을 클러스터에 기여합니다. Machine A에서의 쓰기는 Machine B에서 10 ms 이하로 읽을 수 있습니다. 데몬만 실행하면 피어가 자동으로 서로를 발견합니다. IP도, 포트도, YAML 파일도, Kubernetes도 필요 없습니다. 클라우드도, 계정도, 중앙 서버도 없습니다.

• memcli 로 터미널 워크플로우 지원
• Rust SDK 로 시스템 작업 지원
• TypeScript SDK 로 JS/Node 개발자 지원

스토리지 모드

블록 스토어

원시 바이트 및 스트림.

키‑값 스토어

Redis‑style set / get.

아키텍처

아키텍처 다이어그램을 여기서 볼 수 있습니다:
➡️

• 각 노드는 작은 데몬 (memnode)을 실행합니다.
• SDK와 CLI는 로컬 데몬과만 통신합니다.
• 데몬은 피어 간 라우팅 및 스토리지를 처리합니다.

빠른 설치 (macOS 및 Linux)

# Install via script
curl -fsSL https://raw.githubusercontent.com/vibhanshu2001/memcloud/main/install.sh | sh

# Build from source
git clone https://github.com/vibhanshu2001/memcloud.git
cd memcloud
cargo build --release

링크

• GitHub:
• Docs:
• NPM package:

피드백

다음에 대한 피드백을 받고 싶습니다:

• 성능 아이디어
• 네트워킹 개선
• 메모리/제거 전략
• 실제 사용 사례

읽어 주셔서 감사합니다!

— Vibhanshu