멀티헤드 잠재 어텐션 (MLA) — 리뷰

Source: Dev.to

MLA가 해결하는 문제는?

Klover: 기본부터 시작해 보자. MLA가 해결하는 문제는 뭐야?

Me: KV 캐시를 절약해. 모든 토큰에 대해 전체 키와 값 벡터를 저장하는 대신, MLA는 더 작은 잠재 벡터를 저장해. 그 잠재 벡터는 실제로 필요할 때 추론 단계에서 키와 값으로 다시 디코딩돼.

Klover: 좋네 — 핵심 아이디어를 잡았어. 두 가지 추가 질문. 첫째: 그 압축은 실제로 어떻게 작동해, 메커니즘이 뭐야? 둘째: 목표가 메모리를 줄이는 거라면 왜 그냥 어텐션 헤드를 줄이지 않아?

압축 메커니즘과 헤드 감소가 아닌 이유

Me: 압축은 행렬 곱셈이야. 전체 KV를 더 작은 잠재 공간으로 인코딩하고, 필요할 때 다시 디코딩해. 헤드를 줄이는 건 — 서로 다른 헤드가 입력의 다른 측면에 주목하거든. 헤드를 그냥 없애면 그 다양한 관점을 완전히 잃게 돼. MLA는 멀티‑헤드 관계를 유지하면서 모든 것을 컴팩트하게 저장해.

Klover: 맞아. 핵심은: MLA는 학습된 선형 투영을 사용한다는 거야. W_c라는 다운‑프로젝션 행렬이 KV를 잠재 벡터로 압축하고, W_uk와 W_uv라는 업‑프로젝션 행렬이 어텐션 중에 헤드별로 키와 값을 복원해.

중요한 구분은 — 이것이 학습된 압축이라는 점이야, 사후에 적용하는 것이 아니라. 모델이 학습 과정에서 어떻게 압축할지를 배우기 때문에, 잠재 벡터는 어텐션에 실제로 중요한 정보를 담게 돼. 이는 단순히 헤드를 잘라내는 것과 근본적으로 달라.

메모리 vs 연산량

Klover: 다음 질문: MLA가 학습 중에 연산량을 절약해?

Me: 아니, 오히려 연산이 더 늘어나. 인코딩과 디코딩 단계가 추가되니까 압축·복원에 비용이 들어.

Klover: 정확해. 절약되는 것은 메모리이지 연산량이 아니야. 추론 시 KV 캐시가 주요 병목이 되는데, 시퀀스 길이와 배치 크기에 따라 선형적으로 커지고, 처리할 수 있는 토큰 수나 동시 사용자 수를 제한해. MLA는 그 캐시를 크게 줄여주지.

학습 메모리 감소에 대한 반론

Me: 잠깐 — 학습 중에도 KV 캐시가 이득이 아니야? 순방향 전파 동안 KV가 메모리에 저장돼 있잖아.

Klover: 좋은 지적이야. 학습 시에는 역전파를 위해 순방향 활성값을 저장해야 해. 전체 KV 대신 잠재 벡터를 저장하면 활성 메모리가 줄어들어, 그래디언트 체크포인팅과 비슷한 효과를 낼 수 있어. 그래서 학습 메모리에도 이점이 있지.

하지만 상대적인 이득은 추론보다 훨씬 작아. 학습에서는 배치와 시퀀스 길이가 고정돼 있고, 활성 메모리는 전체 메모리 예산(모델 파라미터, 옵티마이저 상태, 그래디언트 등) 중 일부에 불과해. 추론에서는 KV 캐시가 종종 주된 메모리 비용이 되며, 특히 긴 시퀀스에서 그렇지. 바로 그 점에서 MLA가 빛을 발해.

위험 요소는?

Klover: 마지막 질문. 이 접근법의 위험은 뭐야?

Me: 손실 압축이야. KV를 저차원 공간에 압축하니까 일부 정보가 손실돼. 어텐션 품질이 떨어질 수 있어.

Klover: 정확히. 잠재 차원은 조정 가능한 노브야 — 작게 할수록 압축률과 메모리 절감이 커지지만 정보 손실도 커져. 너무 과감하면 어텐션 패턴이 망가질 수 있지. 핵심은 큰 메모리 절감과 의미 있는 품질 손실 사이의 균형점을 찾는 거야.

리뷰 세션: 2026년 2월 4일. 노출 수준 → Developing. 모든 핵심 개념을 유지했으며, 학습 메모리 절감에 대한 좋은 반론을 제시함.