d-engine: 러스트용 경량 분산 코디네이션 엔진

Source: Dev.to

해당 텍스트를 번역하려면 실제 내용이 필요합니다. 번역하고 싶은 본문을 제공해 주시면, 요청하신 대로 마크다운 형식과 코드 블록, URL은 그대로 유지하면서 한국어로 번역해 드리겠습니다.

개요

Rust 애플리케이션에 임베드하기 위해 설계된 경량 Raft 구현 — 신뢰할 수 있는 분산 시스템을 구축하기 위한 합의 레이어.
단순한 비전으로 구축되었습니다: 분산 조정을 접근하기 쉽고, 실행 비용이 저렴하며, 사용하기 간단하게 만들기.
핵심 철학: 복잡한 구조보다 단순한 구조를 선호합니다.

• 단일 스레드 이벤트 루프 – 경쟁 조건이 없고, 엄격한 순서 보장; 단일 코어에서 CPU 바인드, 수평 확장 가능.
• 역할 분리 (SRP) – Leader, Follower, Candidate, Learner가 각각 자체 로직을 처리하고, 메인 루프는 이벤트를 라우팅만 합니다.
• 표준 Raft 설계 – 일반적인 Raft 아키텍처를 따릅니다.

Modes of Operation

Embedded mode

Runs inside your Rust process.

let engine = EmbeddedEngine::start().await?;
engine.wait_ready(Duration::from_secs(5)).await?;

let client = engine.client();
client.put(b"key".to_vec(), b"value".to_vec()).await?; // Lab numbers only—production performance varies by workload and hardware.

Pluggable Architecture

d-engine provides working implementations (RocksDB storage, KV operations, gRPC transport). When defaults don’t fit, implement the required traits:

pub trait StorageEngine {
    type LogStore: LogStore;
    type MetaStore: MetaStore;
}

pub trait StateMachine {
    async fn apply_chunk(&self, entries: Vec) -> Result;
}

Examples in the repository demonstrate:

• Sled storage backend.
• Custom HTTP handlers with HAProxy for high‑availability deployments.

일관성 보장

세 가지 읽기 정책(작업별 또는 서버 전체에서 설정 가능):

기본값은 합리적이며, 트레이드오프는 문서화되어 있습니다.

스케일링 예시

// Start with 1 node (auto‑elected leader)
let engine = EmbeddedEngine::start().await?;

// Scale to 3 nodes later: update config, zero code changes
// See `examples/single-node-expansion`

Kubernetes나 복잡한 설정이 필요 없습니다—Rust와 설정 파일만 있으면 됩니다.

Features Summary

• Raft 합의 구현.
• 플러그인 가능한 스토리지(RocksDB, Sled, 커스텀).
• 유연한 일관성(선형화 가능, 리스, 최종 일관성).
• 프로덕션‑준비 코어; API는 v1.0을 향해 안정화 중.
• 버전 0.2: 코어 엔진은 프로덕션‑준비 완료(1000+ 테스트, TLA+ 및 Jepsen 검증).

향후 방향

• 클라우드‑네이티브 배포 (Cloudflare, AWS, GCP 스토리지 백엔드). 일정은 초기 채택자들의 실제 사용 사례에 따라 달라집니다.
• etcd‑호환 API 레이어 탐색.

시작하기

[dependencies]
d-engine = "0.2"

• GitHub:
• Documentation:
• Examples:

Rust로 분산 시스템을 구축하고 합의가 필요하다면, 코드는 이미 준비되어 있습니다. 이 저장소에는 임베디드 모드, 독립 실행형 모드, 커스텀 스토리지, 그리고 HAProxy를 이용한 고가용성(HA) 배포 예제가 포함되어 있습니다.

Call for Users

우리는 실제 문제를 해결하고자 하는 분산 시스템을 구축하는 Rust 개발자를 찾고 있습니다:

• Coordination bottlenecks (slow consensus, expensive etcd clusters).
• Strong consistency requirements (leader election, distributed locks, metadata stores).
• Production deployments needing cheap, simple, reliable coordination.

Ideal scenarios

• Production‑grade deployments (not toy projects).
• Cloud‑native environments (Cloudflare Workers, AWS Lambda, serverless patterns).
• Cost‑sensitive use cases where etcd is overkill.

If you have a specific problem, open an issue with your use case or reach out directly.

라이선스 및 호환성

• 라이선스: MIT 또는 Apache‑2.0
• 플랫폼: Linux, macOS
• 최소 지원 러스트 버전 (MSRV): 1.88