Show HN: Apple Silicon용 Gemma 4 멀티모달 파인 튜너

Source: Hacker News

개요

약 6개월 전, 제한된 컴퓨팅 예산으로 M2 Ultra Mac Studio에서 Whisper를 로컬로 파인‑튜닝하는 프로젝트를 시작했습니다. Google Cloud Storage에 15,000 시간 분량의 오디오 데이터가 저장돼 있었지만 로컬 머신에 넣을 수 없었기 때문에, 학습 중에 GCS에서 데이터를 스트리밍하는 시스템을 구축했습니다.

Gemma 3 nano가 출시되자 이를 설정에 추가하고 크게 실험했습니다. 잠시 활동이 중단된 뒤 프로젝트를 미뤄두었습니다.

Gemma 4 통합

며칠 전 Gemma 4가 출시되었습니다. 프로젝트를 다시 꺼내어 Whisper 파인‑튜닝 코드와 Gemma 컴포넌트를 분리하고, Gemma 4 지원을 추가했습니다. 이제 결과물을 누구든지 사용하고, 포크하고, 개선할 수 있습니다.

배운 점

• 긴 시퀀스에 대한 파인‑튜닝은 쉽게 메모리 부족(OOM) 오류를 일으킵니다. 내 Mac Studio는 64 GB RAM을 가지고 있지만 여전히 메모리가 자주 부족합니다.
• 현재 MLX로 오디오 파인‑튜닝을 수행하는 간단한 방법이 없어, MLX를 선호함에도 불구하고 이 도구를 만들게 되었습니다.

시작하기

이 저장소에는 Apple Silicon에서 파인‑튜닝 파이프라인을 실행하는 데 필요한 모든 것이 포함되어 있습니다. 저장소를 클론하고 설정 안내를 따라 하면 Google Cloud Storage에서 스트리밍되는 자체 오디오 데이터로 학습을 시작할 수 있습니다.

감사 인사

Gemma 4에 대한 관심과 이 사이드 프로젝트를 형성하는 데 도움을 준 피드백을 제공해 준 커뮤니티에 감사드립니다.

—Matt

Comments on Hacker News (27 points, 2 comments)