Salomi, 극한 저비트 트랜스포머 양자화 연구 repo

Source: Hacker News

SALOMI

SALOMI는 극단적인 저비트 트랜스포머 양자화 및 추론에 초점을 맞춘 연구 저장소이며, 특히 이진 또는 준이진 가중치 표현이 현실적인 평가 하에서 삼진 기준을 따라잡거나 능가할 수 있는지 여부에 대해 다룹니다.

이 저장소에는 다음이 포함됩니다:

• 양자화, 런타임 추론, 평가, 커널 및 관련 도구를 위한 onebit/ 패키지,
• 검증 및 실험을 위한 방대한 tests/ 트리,
• docs/ 아래의 연구 보고서,
• 그리고 onebit/research/paper/ 아래의 역사적인 논문 스타일 자료.

Quick Start

이 저장소는 한 번의 명령으로 동작하는 제품 패키지라기보다 연구 작업 공간으로 다루는 것이 좋습니다.

일반적인 설정 방법:

python -m venv .venv
.venv\Scripts\activate
pip install -r requirements.txt
pytest

주의사항

• pyopencl은 OpenCL 백엔드를 탐색하고자 할 때만 선택 사항입니다.
• 일부 연구 스크립트는 Hugging Face 모델/데이터 다운로드를 기대하며, 머신 상태에 따라 추가 환경 설정이나 인증이 필요할 수 있습니다.
• 안내된 개요를 위해서는 오래된 실험 스크립트를 실행하기 전에 RESEARCH.md를 먼저 읽으세요.

Status

이것은 연구 저장소이며, 다듬어진 제품 패키지가 아닙니다.

레포 수준에서 가장 중요한 결론은 다음과 같습니다:

• 엄격한 1.00 bpp 사후 이진 양자화는 엄격한 평가 하에서 GPT‑2‑급 언어 모델링 솔루션으로 강력하게 작동하지 않는다
• 이 레포에서 보다 신뢰할 수 있는 실용적인 결과는 ~1.2‑1.35 bpp 수준이며, Hessian‑guided VQ, 혼합 정밀도, 혹은 크기 복구 방법을 사용한 경우에 해당합니다.

Start Here

• RESEARCH.md — 포괄적인 레포 수준 연구 보고서 및 성숙도 평가
• docs/HONEST_ASSESSMENT.md — 가장 강력한 현실 검증 문서
• docs/PROJECT_ANALYSIS_SUMMARY.md — 검증 및 실패 모드 요약
• docs/REPOSITORY_GUIDE.md — 레포에 대한 정제된 기술 가이드
• docs/ARCHIVE.md — 역사적 실험 파일 및 명명 규칙 설명
• REPRODUCIBILITY.md — 환경 및 재실행 안내
• CONTRIBUTING.md — 기여 및 레포 위생 기대치

Important Note on Claims

onebit/research/paper/ 아래의 일부 자료는 이전, 보다 낙관적인 초안 주장을 보존하고 있습니다. 가장 방어 가능한 현재 해석을 위해서는 다음을 우선하십시오:

• RESEARCH.md
• docs/
• tests/

역사적 논문 초안 수치와 충돌할 경우 위 문서들을 참고하세요.

What Makes This Public‑Ready

이 레포는 GitHub 준비성을 높이기 위해 정리되었습니다:

• README.md가 최상위 프레이밍을 제공
• RESEARCH.md가 포괄적인 연구 보고서 역할 수행
• requirements.txt가 의존성 목록을 문서화
• .gitignore가 일반적인 로컬 캐시 및 일시 파일을 제외
• LICENSE가 이제 Apache‑2.0 하에 명확한 재사용 조건을 제공

License

이 저장소는 Apache‑2.0 라이선스로 제공됩니다. LICENSE를 확인하십시오.

Repository Shape

SALOMI/
├── README.md
├── RESEARCH.md
├── onebit/
├── docs/
├── tests/
└── research/result artifacts and experiment scripts

Public Positioning

이 프로젝트에 대한 가장 솔직하고 강력한 프레이밍은 다음과 같습니다:

극단적인 LLM 양자화에 대한 진지한 연구 및 시스템 탐색으로, 유망한 방법과 순진한 서브‑1‑bit 주장이 무너지게 되는 지점에 대한 엄격한 증거를 모두 포함한다.

Naming Note

특히 onebit/research/ 아래의 일부 파일명은 작업의 연대기를 보존하기 위한 것이며, 이상적인 공개 분류 체계라기보다는 시간 순서를 나타냅니다. novel_ideas_v*.py와 같은 이름은 연구 흐름의 일환으로 의도적으로 유지되었습니다. 공개 독자는 역사적 실험 파일명보다 정제된 문서와 검증된 테스트 경로를 우선시해야 합니다.

Recommended Reading Order

1. README.md
2. RESEARCH.md
3. docs/HONEST_ASSESSMENT.md
4. docs/PROJECT_ANALYSIS_SUMMARY.md
5. docs/REPOSITORY_GUIDE.md

역사적 논문 초안을 열기 전에 이 순서대로 읽어 레포의 수정되고 방어 가능한 이야기를 파악하십시오.