대형 언어 모델 및 Transformer 아키텍처 소개: 계산기와 대화하기

Source: Dev.to

“All models are wrong, but some are useful.”
— George E. P. Box

Overview

대형 언어 모델(LLM)은 본질적으로 수십억 개에 달하는 수치 파라미터를 행렬과 벡터 형태로 구조화한 집합이며, 이는 학습 과정에서 생성됩니다. 이러한 모델에 방대한 데이터셋을 노출시키면 토큰 간의 통계적 관계를 학습하고 언어에 대한 내부 표현을 구축합니다.

높은 수준에서 LLM은 정교한 자동완성 기능과 같습니다: 실제 추론이나 이해 없이 다음 텍스트를 예측합니다. 복잡하고 박사 수준의 수학 문제까지 다룰 수 있는 가장 강력한 모델들은 수십에서 수백억 개의 비양자화 파라미터를 가지고 있지만, 그 비용 때문에 가까운 미래에 널리 사용하기는 현실적이지 않습니다.

Transformer Architecture

현대 LLM의 진정한 엔진은 transformer 아키텍처입니다. 모델 패밀리에 따라 transformer는 다음과 같이 구성될 수 있습니다:

• Decoder‑only 레이어 (예: GPT 모델)
• Encoder‑only 레이어
• Encoder–decoder 스택

더 깊이 살펴보고 싶다면 Understanding Transformer Architecture 기사를 참고하세요.

Tokenization and Embeddings

Tokenization

텍스트가 모델에 들어가기 전에 기계가 읽을 수 있는 형식으로 변환되어야 합니다. 텍스트는 토큰으로 분할되며, 토큰은 문자, 음절, 단어 또는 서브워드 등을 나타낼 수 있습니다.

토크나이징 전략 중 Byte‑Pair Encoding (BPE) 및 그 현대 변형이 효율성과 뛰어난 성능 때문에 특히 널리 사용됩니다.

Embedding

각 토큰은 임베딩 과정을 통해 연속적인 수치 벡터로 매핑됩니다. 임베딩은 모델을 고차원 공간에 배치하여 패턴, 관계, 의미를 인코딩할 수 있게 합니다. 토큰은 개별적으로 그리고 집합적으로 처리되어, 이후 모든 추론의 기반이 되는 조밀한 벡터 표현을 생성합니다.

Unembedding (Output Projection)

변환이 끝난 후, 정제된 벡터는 언임베딩(또는 출력 프로젝션) 레이어를 통과해 내부 수치 표현을 다시 토큰으로 변환합니다. 이 토큰들이 모델 출력의 단어와 문장을 형성합니다.

Limitations and Hallucinations

LLM은 인간처럼 세상을 이해하지 못하기 때문에 환각이 발생합니다—그럴듯하지만 사실과 다른 출력이 나오는 현상입니다. 그럼에도 불구하고 많은 상황에서 유용하게 활용될 수 있습니다. Aleksander Mądry 교수의 말처럼:

“AI는 단순한 기술이 아니라 다른 기술과 과학을 가속화하는 기술이다. 이는 더 빠른 진보를 위한 고속도로 역할을 한다. 이를 무시하는 것은 현명하지 못하다.”

LLM과 transformer가 어떻게 작동하는지를 이해하는 것은 언제, 어떻게 효과적으로 사용할지에 대한 현명한 결정을 내리는 데 필수적입니다.

Quantization and Practical Use

광범위하게 접근 가능한 모델들은 종종 양자화되어 있습니다. 이는 계산 비용을 낮추고 가격을 저렴하게 만들기 위해 수치 정밀도를 감소시키는 것을 의미합니다. 양자화는 성능에 영향을 줄 수 있습니다: 실제로 GPT 모델은 부드러운 자기 개발 작업에서는 뛰어나지만, 상세하고 도메인‑특화된 지식이 필요한 작업에서는 부분적인 답변을 제공하지 못하거나 완전한 해결책으로 안내하는 데 어려움을 겪을 수 있습니다.