A100을 살 여유가 없어서 Rust로 Surgical Weight editor를 만들었습니다.

Source: Dev.to

문제: 파인‑튜닝의 “블랙 박스”

표준 파인‑튜닝은 샷건 접근법이다: 데이터를 모델에 던지고 역전파가 올바른 뉴런에 도달하기를 바란다. 비용이 많이 들고, 느리며, 대부분이 책상 아래에 두고 있지 않은 하드웨어가 필요하다.

해결책: 외과적 가중치 편집

PickyTrain(Rust 🦀 로 작성) 은 고정된 GGUF 모델을 PTXY 라는 새로운 유동 포맷으로 “해동”한다.

• GPU가 없나요? 문제없습니다. 전적으로 CPU에서 실행됩니다.
• 데이터셋이 없나요? 수천 개의 예제가 필요하지 않다—올바른 “시냅스”만 찾아 살짝 조정하면 된다.
• Rust 성능: PyO3 를 통한 Python 바인딩을 갖춘 고성능 코어; 빠르고, 메모리 안전하며, 안정적이다.

할 수 있는 일

• 동작 미세 조정: FFN 가중치를 조정해 코딩 에이전트를 10 % 더 간결하게 만든다.
• 환각 교정: 특정 사실이 저장된 가중치를 외과적으로 수정한다.
• 안전 가드레일: 모든 편집은 Delta Journal에 기록된다; 롤백은 Git만큼 쉽다.

기술 스택

• 언어: Rust (“외과칼”)
• 바인딩: Python / PyO3 (“인터페이스”)
• UI: 터미널에 사는 해커들을 위한 깔끔한 Curses TUI
• 호환성: Q4_K, Q8_0, F16, 그리고 F32 GGUF 양자화 지원

로드맵 / 향후 기능

• 활성화 히트맵: 프롬프트 실행 중 어떤 뉴런이 활성화되는지 시각화.
• GGUF‑Bake: “수술” 결과를 표준 포맷으로 다시 내보내기.
• LoRA 병합: 어댑터를 CPU에서 직접 가중치에 베이크.

Note: 이 프로젝트는 아직 개발 중이다. 버그나 오류가 발생할 수 있으며, 추가 기능이 계획되어 있다.

저장소

https://github.com/Ainix-dev/PickyTrain

스크린샷