Show HN: 1-Bit Bonsai, 최초의 상업적으로 실현 가능한 1-Bit LLMs

Source: Hacker News

1비트 Bonsai 8B

1비트 가중치를 사용한 최초의 상용화 가능한 모델입니다. 메모리 1.15 GB만 필요하며, 로봇공학, 실시간 에이전트, 엣지 컴퓨팅을 위해 설계되었습니다. 전체 정밀도 8B 모델에 비해 14배 작은 발자국을 차지하고, 8배 빠르게 실행되며, 에너지 효율은 5배 높으면서도 벤치마크에서 선도적인 8B 모델과 동등한 성능을 보입니다. 이는 전체 정밀도 8B 모델 대비 10배 이상의 지능 밀도를 제공합니다¹.

1비트 Bonsai 4B

메모리 0.57 GB만 필요하고, M4 Pro에서 초당 132 토큰이라는 뛰어난 속도를 제공합니다. 높은 정확도와 뛰어난 에너지 효율성을 겸비하여, 성능과 속도를 모두 요구하는 워크로드에 이상적입니다¹.

1비트 Bonsai 1.7B

메모리 0.24 GB라는 발자국만으로 iPhone 17 Pro Max에서 초당 130 토큰이라는 장치 내 속도 한계를 뛰어넘습니다. 업계 최고 수준의 에너지 효율성과 견고한 정확도를 결합한 이 경량 모델은 무거운 작업을 위해 설계되었습니다¹.

---

Footnotes

1. https://github.com/PrismML-Eng/Bonsai-demo/blob/main/1-bit-bonsai-8b-whitepaper.pdf ↩ ↩² ↩³