Low-Rank Matrix Factorization: LLM을 축소하면서 뇌를 깨뜨리지 않기

Source: Dev.to

소개

대형 언어 모델(LLM)은 강력하지만 — 그 규모도 거대합니다.
GPT‑스타일 트랜스포머와 같은 모델은 수십억 개의 파라미터를 가지고 있어 비싼 GPU, 높은 메모리, 그리고 상당한 연산 능력이 필요합니다.

압축을 고려해야 하는 이유는?

많은 파라미터가 중복됩니다. 트랜스포머 모델에서는 대부분의 파라미터가 큰 가중치 행렬 안에 존재합니다. 예를 들어, 한 투영 층은 다음과 같은 가중치 행렬을 가질 수 있습니다.

[ W \in \mathbb{R}^{4096 \times 4096} ]

이 하나의 층만 해도 1,600만 개가 넘는 파라미터가 됩니다. 여러 층에 걸쳐서 생각하면 수십억 개가 됩니다.

핵심 질문은 정말 모든 파라미터가 필요한가? 입니다.

저‑랭크 행렬 분해(Low‑Rank Matrix Factorization)는 이 질문에 답할 방법을 제공합니다.

저‑랭크 행렬 분해

하나의 큰 행렬 (W)를 저장하는 대신 다음과 같이 근사합니다.

[ W \approx A \times B ]

여기서

[ A \in \mathbb{R}^{m \times r}, \qquad B \in \mathbb{R}^{r \times n} ]

이며 랭크 (r)은 (r \ll m) 그리고 (r \ll n)을 만족합니다.

파라미터 감소

• 원본 행렬 파라미터: (m \times n)
• 저‑랭크 표현 파라미터: (m \times r + r \times n)

예시

• 원본: (4096 \times 4096 = 16{,}777{,}216) 파라미터
• 랭크 (r = 512) 선택 시:

[ 4096 \times 512 + 512 \times 4096 = 4{,}194{,}304 ]

이는 약 75 % 감소이며, 성능 저하가 미미합니다. 신경망은 종종 과다 파라미터화되어 있기 때문입니다. 많은 가중치 행렬이 다음과 같은 특성을 보입니다.

• 상관된 특징
• 중복된 정보
• 낮은 내재 랭크

따라서 우리는 지능을 없애는 것이 아니라 중복을 제거하는 것입니다.

간단한 PyTorch 구현

import torch
import torch.nn as nn

class LowRankLinear(nn.Module):
    def __init__(self, in_features: int, out_features: int, rank: int):
        super().__init__()
        self.A = nn.Linear(in_features, rank, bias=False)
        self.B = nn.Linear(rank, out_features, bias=False)

    def forward(self, x):
        return self.B(self.A(x))

단일 Linear(in_features, out_features) 대신, 이 모듈은 가중치 행렬을 두 개의 작은 선형 층으로 분해하여 전체 파라미터 수를 줄입니다.

트랜스포머에서의 적용

저‑랭크 기법은 트랜스포머 아키텍처의 여러 부분에 활용됩니다.

• Attention 투영 – 쿼리, 키, 밸류 행렬을 분해.
• Feed‑forward 층 – 큰 중간 투영을 근사.
• 모델 압축 파이프라인 – 일반적인 차원 축소 단계.
• LoRA (Low‑Rank Adaptation) – 원본 가중치를 고정하고 저‑랭크 행렬만 학습하는 파인튜닝 방법으로, 메모리와 연산 요구량을 크게 낮임.

장점과 과제

결론

AI 도입이 확대됨에 따라 효율성이 핵심 과제가 됩니다. 지능을 확장하기 위해 무한히 GPU를 늘리는 전략에만 의존할 수 없습니다. 저‑랭크 행렬 분해는 똑똑한 수학이 성능을 크게 해치지 않으면서 연산 비용을 절감할 수 있음을 보여줍니다. 엣지 AI, 모바일 추론, 지속 가능한 컴퓨팅으로 향하는 세상에서 이러한 기술은 선택이 아니라 필수입니다.