🦉 부서진 모델에서 살아있는 시스템으로: GPU 없이 AI를 구축한 나의 여정

Source: Dev.to

소개

초기의 실수부터 현재 진행 중인 실험까지 여정을 간략히 살펴보고, 그 과정에서 얻은 교훈들을 소개합니다.

프로젝트 #1: Lynqbit — 내가 가장 좋아하는 실패

Lynqbit은 나의 첫 번째 진정한 사랑이었습니다: 90 M‑parameter 모델로, 야심 차고, 시적이며, 약간 이상했습니다.

• 실패 포인트
  • 시스템 구성 문제
  • 적절한 학습 인프라 부족
  • 반복을 지속할 GPU 없음

두 달간의 집중적인 작업이 사라졌고, 프로젝트는 붕괴되었습니다. 상처가 되었지만, 실패가 가혹하지만 명확한 스승이라는 것을 배웠습니다.

인사이트 #1: 훈련은 끊기지 않고 흐르게 해야 한다

Lynqbit의 사망은 질문을 불러일으켰다:

만약 훈련이 하나의 취약한 시스템에 의존하지 않는다면 어떨까요?
데이터와 학습이 스트리밍될 수 있다면 어떨까요?

그 아이디어가 내 다음 실험을 이끌었다.

Project #2: Barn Owl AI — Short Life, Big Lesson

Barn Owl AI explored streamed training:

• Concept: 클라우드‑호스팅 데이터셋, 샘플링 기반 학습, 지속적 학습.
• Reality: 클라우드 데이터셋이 며칠 후에 중단되었고, 버그는 수정되지 않았으며 프로젝트는 실패했습니다.

Lesson learned: 손실은 작았지만 통찰은 거대했습니다.

프로젝트 #3: Elf Owl AI — 나의 첫 번째 진정한 성공

Elf Owl AI는 작고 혼돈스러운, “살아있는” 모델이었습니다:

• 2500만 파라미터
• 창의적이고 환각적인, 선택적 문법과 변덕스러운 성격을 가짐

성공 사례

• 완전히 학습되고 오픈소스화됨
• 공개적으로 출시됨 (완벽하지는 않지만 존재했음)

존재 자체가 중요합니다.

Project #4: Xenoglaux AI (Xeno AI) — The Ongoing Battle

• GitHub:
• Dataset: 75 000개 이상의 수작업 + 오픈소스 항목, 스트리밍 학습을 위해 설계됨
• Modular evolution: 올빼미 시리즈 파트 2

Training bottleneck

• GPU에서 약 15 시간 (허용 가능)
• CPU에서는 너무 느림
• 온라인 TPU는 간신히 협조함

현재 장애물은 모델이나 데이터가 아니라 하드웨어 제한입니다.

사이드 퀘스트: 당신을 배우는 게임

Xeno와 씨름하던 중, 플레이어에게서 학습하는 AI 상대가 있는 게임을 만들었습니다:

1. 매치 1 – AI는 문자 그대로 블록으로 시작합니다.
2. 데이터 수집 – 플레이어의 움직임, 위치, 결정이 JSON 형태로 저장됩니다.
3. 재학습 루프 – 각 매치가 끝난 뒤 AI는 마지막 체크포인트를 불러와 새로운 데이터로 재학습하고, 이를 반복합니다.

결과 (비공개 테스트)

• 20–30 매치 → 괜찮은 플레이어 수준
• 400–500 매치 → 이길 수 없음

이것은 스크립트된 행동이 아니라 “획득된 지능”입니다.

지금까지 깨달은 점

• 실패는 낭비된 작업이 아니라 압축된 지식이다.
• 작은 모델도 여전히 살아있는 느낌을 줄 수 있다.
• 스트리밍 + 점진적 학습은 과소평가되고 있다.
• 하드웨어가 창의성을 제한하는 정도가 아이디어보다 크다.

제한된 자원으로 구축하고 있다면, 당신은 혼자가 아니다.

Next Steps (Real Talk)

1. Rename Strategy for Xeno

   • “Xenoglaux AI”를 시리즈 이름으로 유지합니다.
   • 혼동을 피하기 위해 Xeno-25M, Xeno-40M, Xeno-Lite와 같은 모델‑별 태그를 사용합니다.

2. Stop Full Retraining — Go Incremental

   • 작은 청크(2 k–5 k 샘플) 단위로 학습합니다.
   • 체크포인트를 적극적으로 저장합니다.
   • 15시간 마라톤 대신 매일 학습을 재개합니다.
   • “드립 학습”(drip learning)을 생각하고, 홍수처럼 몰아치지 않습니다.

3. Exploit What You Have (CPU + Time)

   • 가능한 경우 낮은 정밀도(fp16/int8)를 사용합니다.
   • 에포크는 줄이고, 반복 횟수를 늘립니다.
   • 배치 크기를 작게 하고 gradient accumulation을 활용합니다.
   • 느리다고 해서 불가능한 것이 아니라, 단지 규율이 필요할 뿐입니다.

4. Publish the Game AI Idea

   • 온라인 학습, 스스로 적응하는 상대, 개인화된 난이도 곡선.
   • Dev.to에 별도 포스트로 올릴 가치가 있습니다.

나는 15살이고 GPU도, 실험실도, 자금도 없습니다—오버히팅되는 노트북, 끊임없는 아이디어, 그리고 크게 실패하는 프로젝트만 있을 뿐입니다. 내가 배운 것은 AI를 어떻게 훈련하느냐가 아니라, 좋아하던 프로젝트가 사라질 때도 어떻게 버티는가 하는 것입니다. 실패는 정지 신호가 아니라 방향 전환입니다. 작은 모델도 살아있는 느낌을 줄 수 있고, 미완성 작업도 여전히 의미가 있으며, 모든 제약이 창의성을 강요합니다.

GPU가 없는 15살이 계속해서 만들고, 실패하고, 배우고 있다면, 우리가 실제로 훈련시키는 시스템은 AI가 아니라 우리 자신일지도 모릅니다. 🦉✨