🔥마침내 나는 모델을 처음부터 만들 수 있었다🔥

Source: Dev.to

여러 차례의 반복, 실험, 그리고 배운 교훈들을 거쳐, 나는 마침내 550 M‑파라미터 모델을 완전히 처음부터 구축했습니다.

이것이 처음으로 작은 언어 모델을 만든 것은 아닙니다. 이전에도 몇 차례 만들었지만, 그때는 TinyStories 같은 장난감 데이터셋으로 학습했습니다. 초기 프로젝트 중 일부는 다음과 같습니다:

• Qwen
• Gemma
• Rnj‑1
• Meta LLaMA

이번에는 의도적으로 선택했습니다: 장난감 데이터셋이 아닌 실제 데이터를 사용해 의미 있는 무언가를 만드는 것.

Dataset

• Pretraining:
• Mid‑training:
• Supervised fine‑tuning:

Tokenizer

Tokenizer는 종종 간과되지만, 효과적인 언어 모델을 만들기 위해서는 매우 중요한 역할을 합니다. 나는 올바른 tokenizer를 이해하고 선택하는 과정을 공유하기 위해 영상을 만들었습니다.

올바른 tokenizer 선택 – 선택 배경:

Attention

Attention은 복잡하게 들릴 수 있지만, 핵심 아이디어는 간단합니다: 중요한 것에 집중한다는 것. Attention을 완전히 이해하면서 언어 모델을 보는 시각이 크게 바뀌었습니다.

• 올바른 attention 메커니즘 선택 – 실제로 적용되는 방법:
• Self‑attention 내부 구조 – 단계별 상세 설명:

Architecture

내가 따른 아키텍처는 현대적인 사전 정규화(pre‑normalized) Transformer 블록으로, 효율성, 안정성, 확장성을 위해 최적화되었습니다. 특히 550 M‑파라미터와 같은 중간 규모 모델에 적합합니다.

Training Cost

학습에는 RunPod ()를 사용했고, 8 × A100 GPU를 1.5 일 동안 대여했으며, 총 비용은 약 $405 정도였습니다.

Note: 루트 디스크에 충분한 공간이 있는지 확인하세요. 디스크 공간이 부족해 한 번의 학습을 취소해야 했습니다.

Final Output

학습과 설정을 마친 뒤, 모델은 이제 실행 중이며 질문에 답변할 준비가 되었습니다.

Book

이 여정 내내 꾸준히 도움이 된 자원은 바로 내가 직접 쓴 책, Building a Small Language Model from Scratch 입니다. 책을 쓰면서 토크나이저, 어텐션 메커니즘, 아키텍처 선택, 학습 파이프라인, 디버깅 실패 등 모든 구성 요소를 천천히 깊이 이해할 수 있었습니다. 550 M‑파라미터 모델을 만들 때도 나는 내 설명, 다이어그램, 코드 walkthrough를 자주 참고해 결정을 검증하고 급하게 넘어가는 일을 방지했습니다.

• Gumroad:
• Amazon:
• Leanpub:

Summary

지난 4개월 동안 나는 작은 언어 모델을 처음부터 만드는 일에 전념했습니다. 그 과정에서 엄청난 양을 배웠으며, 앞으로 YouTube 영상과 블로그 포스트를 통해 그 교훈들을 공유할 예정입니다.

이 모델이 최첨단 연구실 모델과 경쟁할 수 있을까요? 절대 그렇지 않으며, 그것이 목표도 아니었습니다. 진정 중요한 것은 여정의 모든 단계에서 얻은 교훈입니다. 모델은 아직 테스트 중이며, 모든 데이터셋에 대한 검증이 완료되는 대로 Hugging Face에 공개할 예정입니다.