결정 포인트: 올바른 Gemma 4 모델 선택 방법

Source: Dev.to

이 글은 Gemma 4 챌린지 Write About Gemma 4에 대한 제출물입니다.
대부분의 엔지니어가 새로운 모델이 공개되면 하는 일을 했습니다. 문서를 건너뛰고 변형 모델을 잡아 실행했는데, 그 모델이 가장 큰 모델이었고 바로 Gemma 4 31B를 실행했습니다. 시스템이 멈출 때까지 약 40초 정도 동작했죠. “파라미터가 많다”와 “내 하드웨어에서 실행된다”는 전혀 다른 이야기라는 걸 깨달았습니다.

사람들이 충분히 빨리 알리지 못하는 점은 Gemma 4는 단일 모델이 아니라, 특정 컴퓨팅 환경과 사용 사례에 맞게 설계된 가족(Family)이라는 점입니다. 눈가림으로 선택하는 것은 비효율적일 뿐 아니라, 확실히 나쁜 결과를 초래합니다.

Gemma 4는 Google DeepMind가 2026년 4월에 Apache 2.0 라이선스로 공개한 4세대 오픈‑웨이트 모델 패밀리이며, 완전한 상업적 사용이 가능하고 라이선스 절차가 전혀 없습니다. 이 패밀리는 두 가지 핵심 아키텍처로 구성됩니다.

• Dense – 모든 파라미터가 매 순전파마다 활성화되는 방식
• Mixture‑of‑Experts (MoE) – 필요한 부분만 활성화되는 방식

같은 계통이지만 근본적인 트레이드오프가 다릅니다.

현황 (Lay of the Land)

• E2B: Edge First – 최소주의형. 2 B(Effective 2B) 파라미터를 가지고 휴대폰, 임베디드 하드웨어, 라즈베리 파이에서도 무리 없이 동작합니다. 레이어별 임베딩 덕분에 무게 대비 뛰어난 성능을 발휘합니다. 네이티브 오디오 입력을 지원해 온‑디바이스 음성 애플리케이션에 특화되었습니다.
  강점: 초저지연, 엣지에서 멀티모달 가능

• E4B: Efficiency First – 숨은 강자. E2B와 동일한 엣지 최적화 아키텍처이지만 용량이 크게 늘어났습니다. 독립적인 벤치마크에서 올바른 프롬프트를 주면 E4B가 훨씬 큰 모델들을 능가한다는 결과가 조용히 쌓여 있습니다. 실제 워크로드에 충분히 쓰일 만큼 강력하면서도 소비자 하드웨어에 맞는 가벼움을 유지합니다.
  강점: 패밀리 내 최고의 정확도‑VRAM 비율

• 26B A4B: Speed First – 현명한 경제학자. 전체 파라미터는 260억이지만 추론 시에는 40억만 활성화됩니다. 이는 MoE 아키텍처가 제 역할을 하고 있다는 증거입니다. 260억 수준의 품질을 40억 수준의 지연 시간과 비용으로 얻을 수 있습니다. 고처리량 워크로드에서는 이 패밀리 중 어느 모델도 따라올 수 없습니다.
  강점: 대형 모델 수준의 지능을 생산 수준의 속도로 제공

• 31B Dense: Quality First – 순수 품질 지향. 모든 파라미터가 매 순전파마다 작동합니다. 라우팅이나 우회가 없기에 미세조정(fine‑tuning) 시 일관된 그래디언트 흐름을 보장합니다. 현재 Arena AI 리더보드에서 전 세계 오픈 모델 중 3위에 올랐습니다.
  강점: 최고의 원시 출력 품질, 미세조정 안정성

큰 이름들의 의미 해석

• “E”는 Effective와 Edge의 약자로, 이중성을 의도적으로 부여했습니다. E2B와 E4B가 작게 보이는 이유는 Google이 절감한 것이 아니라 Per‑Layer Embeddings이라는 설계 기법 덕분에 제한된 파라미터 수에서도 비례 이상으로 높은 역량을 끌어낼 수 있기 때문입니다. “Effective”는 표시된 숫자가 원시 카운트가 아니라 최적화된 수치임을, “Edge”는 휴대폰·임베디드·데이터센터와 연결되지 못하는 환경을 의미합니다.

• 26B A4B의 “A”는 Active를 의미합니다. 이 모델은 MoE 구조로, 전체 260억 파라미터 중 매 추론 시 40억만 활성화됩니다. 토큰마다 가장 관련 있는 파라미터 서브셋으로 라우팅하도록 학습했기 때문에, 비용·지연은 40억 모델 수준이면서 품질은 260억 풀 풀(pool)에서 얻는 효과를 가집니다. 이는 타협이 아니라 엔지니어링 성과입니다.

• 31B Dense는 별도의 접미사가 필요 없습니다. 모든 파라미터가 매 추론마다 작동하기 때문에, 라우팅이나 전문화된 부분이 전혀 없으며, 이는 MoE가 보장하기 어려운 안정적·예측 가능한 그래디언트 흐름을 제공해 미세조정에 최적화된 이유이기도 합니다.

의사결정 프레임워크

휴대폰이나 임베디드 시스템에서 실행할 건가?
→ E2B가 현실적인 유일한 선택이며, 이는 위로가 아니라 강점입니다. 네이티브 오디오 입력 덕분에 온‑디바이스 음성 파이프라인에 최적화됩니다. 예: 농부의 스마트폰으로 실시간 작물 질병 감지, 서버에 전혀 접속하지 않는 다국어 음성 비서 등. 오프라인, 프라이버시 보장, 서브초 지연.

소비자 GPU, 8–16 GB VRAM?
→ E4B. 대부분 로컬 개발자가 머무는 환경이며, E4B는 여기서 조용히 기대치를 뛰어넘습니다. 독립 벤치마크에 따르면, few‑shot chain‑of‑thought 프롬프트를 사용할 때 추론 정확도‑가중 평균이 패밀리 전체에서 최고이며, 3배 이상의 메모리를 요구하는 모델들을 앞섭니다. 개인 머신에서 코딩 어시스턴트나 문서 Q&A 도구를 만든다면, E4B는 후회 없는 선택입니다.

대규모 프로덕션 추론?
→ 26B A4B MoE. 4 B 지연 비용으로 26 B 파라미터 풀을 활용하도록 설계되었습니다. 고처리량 API, 다중 사용자 배포, 토큰당 비용이 중요한 모든 상황에 적합합니다.

도메인‑특화 모델을 미세조정하고 싶다면?
→ 31B Dense. 여기서 숫자는 진지해집니다. AIME 2026에서 31B는 89.2 %를 기록했으며, Gemma 3 27B는 20.8 %에 불과했습니다. LiveCodeBench v6에서는 80.0 % vs. 이전 세대 29.1 %를 기록했습니다. τ2‑bench(에이전트 툴 사용)에서도 31B는 86.4 %를 달성했으며, Gemma 3 27B는 6.6 %에 머물렀습니다. 실제 배포에서 가장 중요한 수치입니다.

31B의 미세조정은 아키텍처적인 이유가 큽니다. Dense 모델은 모든 파라미터가 매 순전파마다 작동하므로, 라우팅이나 조건부 활성화가 없어 훈련 중 전체 네트워크에 걸쳐 일관되고 예측 가능한 그래디언트 흐름을 제공합니다. Unsloth의 QLoRA를 이용하면 16 GB VRAM만으로도 미세조정이 가능합니다.

• 계약서 언어에 특화된 법률‑테크 스타트업, 임상 기록을 학습하는 의료팀, 규정 준수 어시스턴트를 구축하는 핀테크 기업 등—이 모든 경우에 MoE의 처리량 효율성보다 31B가 제공하는 안정성이 더 큰 가치를 가집니다.

More parameters isn’t always the answer. 하지만 도메인 적응을 위해 미세조정이 필요할 때는 일관된 그래디언트 흐름이 핵심입니다.

인사이트

다시 읽어보세요. 가장 작은 서버‑클래스 변형이 메모리의 1/3 이하로도 위의 모든 모델을 앞섰습니다.

Per‑layer embeddings 덕분에 제한된 아키텍처에서도 비례 이상으로 추론 능력을 끌어낼 수 있습니다. 여기에 구조화된 프롬프트, few‑shot 예시, 명시적 chain‑of‑thought를 결합하면 타협이 아니라 최적화가 됩니다.

이 패밀리에서 가장 숨은 강자는 Arena 순위가 가장 높은 모델이 아니라, 많은 사람들이 큰 숫자를 향해 가는 길목에서 지나치기 쉬운 모델입니다.

당신의 하드웨어가 결정하고, 당신의 사용 사례가 확증합니다.

어떤 모델을 실행하시겠습니까?