오프라인 구동 가능한 기업용 AI…구글 ‘젬마4 12B’ 공개

Source: Byline Network

(출처=구글)

모델 개요

구글 딥마인드는 외부 통신 없이 기기 자체에서 구동되는 오픈소스 AI 모델 Gemma 4 12B를 공개했습니다. 이 모델은 약 120억 개 매개변수를 갖추고 있으며, 16 GB VRAM을 탑재한 일반 기업용 노트북만 있으면 인터넷 연결 없이도 작동합니다.

인코더‑프리 아키텍처

전통적인 멀티모달 AI는 이미지·음성 등 비언어 데이터를 언어 모델이 이해하도록 변환하기 위해 별도의 인코더 모듈을 필요로 했습니다. Gemma 4 12B는 인코더를 제거하고, 시각·청각 원시 데이터를 LLM 백본에 직접 입력하는 통합형 구조를 채택했습니다.

• 레이턴시 감소
• 메모리 사용량 대폭 절감

성능 및 특징

• 벤치마크: 크기를 줄였음에도 상위 26 B MoE 모델에 근접하는 성능을 기록
• 컨텍스트 윈도우: 256 000 토큰 지원 → 대용량 재무 보고서·코드베이스를 한 번에 분석 가능
• 오디오 입력: 변환 과정 없이 음성을 문자로 변환·번역 가능 (오프라인 환경)

제한 사항

• 오디오: 최대 30 초 입력만 처리 가능
• 비디오: 최대 60 초 분석 제한
• 주된 활용은 사내 문서 요약·짧은 지시 수행 등이며, 범용 지식 질의보다는 특정 업무에 특화된 엔진 역할에 적합합니다

---

출처: 바이라인네트워크