24GB AI Lab: 소비자 하드웨어에서 풀스택 로컬 AI를 위한 생존 가이드

I’m happy to translate the article for you, but I’ll need the full text of the post (the body content) in order to do so. Could you please paste the article’s content here? Once I have the text, I’ll provide a Korean translation while preserving the source link, formatting, markdown, and any code blocks or URLs unchanged.

1. Docker + PyTorch 메모리 가드레일

모델을 import하기 전, 고전적인 “CUDA Out‑of‑Memory” 충돌을 방지하는 두 개의 환경 변수 / 인자를 주입하세요.

# -------------------------------------------------
# 1️⃣  Memory Fix – make VRAM a dynamic pool
# -------------------------------------------------
import os
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"

Multi‑GPU 버그 수정

두 개의 GPU가 존재할 경우, Unsloth/HuggingFace는 기본적으로 토큰을 디바이스 간에 평균화하려고 시도합니다 – 이때 다음과 같은 난해한 오류가 발생합니다.

AttributeError: 'int' object has no attribute 'mean'

다음 플래그를 TrainingArguments에 추가하세요:

# -------------------------------------------------
# 2️⃣  Multi‑GPU Bug Fix – stop token averaging
# -------------------------------------------------
average_tokens_across_devices = False

2. 모델‑학습 설정 (총 24 GB VRAM에 최적화)

from transformers import TrainingArguments, DataCollatorForLanguageModeling

training_args = TrainingArguments(
    output_dir="output",
    max_seq_length=1024,
    per_device_train_batch_size=1,
    gradient_accumulation_steps=8,
    # other args …
)

data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer,
    mlm=False,
)

3. LoRA를 다시 기본 모델에 병합하기 (대부분의 사람들이 건너뛰는 단계)

순진한 model.save_pretrained_merged(...)는 기본 모델과 LoRA를 모두 VRAM에 로드하려고 시도합니다 → 12 GB 카드에서는 즉시 멈춥니다.
무거운 작업을 시스템 RAM으로 강제 이동합니다:

# -------------------------------------------------
# 3️⃣  VRAM Insurance Policy – CPU offloading merge
# -------------------------------------------------
model.save_pretrained_merged(
    "model_output",
    tokenizer,
    save_method="merged_4bit_forced",   # optimal for Ollama
    maximum_memory_usage=0.0.4,           # 40 % of VRAM, rest on CPU
)

결과: 병합은 몇 분 더 걸리지만 100 % 성공합니다.

4. 내보낸 Safetensors 정리 ( “헤더 스트리퍼”)

Ollama는 종종 PyTorch가 비표준 메타데이터(U8/U9 헤더)를 남겨두기 때문에 내보낸 .gguf / .safetensors 파일을 거부합니다.
같은 Docker 컨테이너 안에서 아래의 작은 스크립트를 실행하여 헤더를 제거하세요:

# -------------------------------------------------
# 4️⃣  Washing Script – sanitize safetensors metadata
# -------------------------------------------------
import os
from safetensors.torch import load_file, save_file

def sanitize_metadata(input_dir: str, output_dir: str) -> None:
    os.makedirs(output_dir, exist_ok=True)
    for filename in os.listdir(input_dir):
        if filename.endswith(".safetensors"):
            src = os.path.join(input_dir, filename)
            tensors = load_file(src)

            # Re‑save with an *empty* metadata dict
            dst = os.path.join(output_dir, filename)
            save_file(tensors, dst, metadata={})
            print(f"Sanitized: {filename}")

# Adjust these paths to match your Docker volume mounts
sanitize_metadata(
    "/workspace/work/model_output",
    "/workspace/work/sanitized_model",
)

이제 Ollama가 정리된 모델 파일을 가리키도록 하면 “unexpected EOF” 또는 “Tensor not found” 오류 없이 로드됩니다.

5. Hooking Everything Together

1. Run the fine‑tune 를 Unsloth Docker 이미지 안에서 실행합니다 (§1의 두 가지 가드레일 포함).
2. Merge 를 VRAM‑insurance 호출 (§3)을 사용해 수행합니다.
3. Sanitize 로 생성된 safetensors 를 정제합니다 (§4).
4. 정제된 모델을 Ollama 로 로드합니다 (최적 포맷: merged_4bit_forced).
5. OpenClaw 이 로컬 Ollama 엔드포인트를 호출하도록 설정합니다.
6. 시각적 작업이 발생하면 OpenClaw 가 ComfyUI 인스턴스를 트리거합니다.

모델이 1024‑토큰 컨텍스트 윈도우를 준수하므로, 듀얼‑GPU 환경에서는 추론 지연 시간이 사실상 0에 가깝습니다.

6. “Gatekeeper” 오류 및 해결 방법

7. 빠른 요약 (한 줄 체크리스트)

1️⃣  export PYTORCH_CUDA_ALLOC_CONF="expandable_segments:True"
2️⃣  average_tokens_across_devices = False
3️⃣  max_seq_length = 1024
4️⃣  per_device_train_batch_size = 1
5️⃣  gradient_accumulation_steps = 8
6️⃣  use DataCollatorForLanguageModeling
7️⃣  model.save_pretrained_merged(..., maximum_memory_usage=0.4, save_method="merged_4bit_forced")
8️⃣  Run the sanitize_metadata() script on the output folder
9️⃣  Load the cleaned model into Ollama
🔟  Wire Ollama → OpenClaw → (optional) ComfyUI

이 단계를 따르면 듀얼 RTX 3060 시스템이 zero‑crash, fast, 그리고 다음 AI 실험을 위한 ready 상태를 유지합니다. 즐거운 파인‑튜닝 되세요!

멀티 GPU 시스템에서 AI는 가장 빠른 하드웨어를 갖추는 것이 아니라 최고의 정비사가 되는 것입니다. 메모리 할당을 제어하고, 컨텍스트를 제한하며, 메타데이터를 “세척”함으로써 일반 소비자용 그래픽 카드를 매우 강력하고, 프라이버시가 보장되며, 에이전시를 갖춘 실험실로 바꿀 수 있습니다.