Safetensors가 PyTorch Foundation에 합류합니다

Source: Hugging Face Blog

번역할 텍스트를 제공해 주시면, 요청하신 대로 한국어로 번역해 드리겠습니다.

우리가 여기까지 온 이유

Safetensors는 구체적인 필요성에서 출발한 Hugging Face 프로젝트였습니다: 임의의 코드를 실행할 수 없는 모델 가중치를 저장하고 공유할 수 있는 방법이 필요했습니다. 당시 생태계를 장악하고 있던 pickle 기반 포맷은 악성 코드를 실행할 위험이 매우 높다는 것을 의미했습니다. 머신러닝이 아직 초기 단계였을 때는 어느 정도 감수할 수 있는 위험이었지만, 오픈 모델 공유가 ML 커뮤니티의 핵심이 되면서 이는 받아들일 수 없는 위험이 되었습니다.

우리가 만든 포맷은 의도적으로 단순합니다: 텐서 메타데이터를 설명하는 100 MB 이하의 JSON 헤더와 그 뒤에 이어지는 원시 텐서 데이터. 제로‑카피 로딩은 텐서를 디스크에서 직접 매핑하고, 레이지 로딩은 전체 체크포인트를 역직렬화하지 않고 개별 가중치를 읽을 수 있게 합니다.

우리가 완전히 예상하지 못했던 것은 이 포맷이 얼마나 널리 채택될지였습니다. 오늘날 Safetensors는 Hugging Face Hub 및 기타 플랫폼에서 모델 배포의 기본 포맷이 되었으며, ML 전 분야의 수만 개 모델이 이를 사용하고 있습니다. 오픈‑소스 ML 커뮤니티가 모델을 공유하는 선호 방식이 되었습니다.

왜 PyTorch Foundation인가

우리는 Safetensors가 진정으로 커뮤니티에 속하기를 원합니다. 이 프로젝트는 언제나 오픈 소스였지만, 코드 기여는 그 진화의 한 부분에 불과합니다. 더 많은 기업과 기여자를 프로젝트 거버넌스에 참여시킴으로써, 우리는 진전이 이를 기반으로 구축하는 커뮤니티의 폭넓은 요구를 반영하도록 보장합니다.

PyTorch Foundation에 합류함으로써 Safetensors는 벤더 중립적인 거점을 얻게 됩니다. 상표, 저장소, 그리고 거버넌스는 이제 단일 기업이 아니라 Linux Foundation에 소속됩니다. Hugging Face의 핵심 유지관리자 두 명인 Luc와 Daniel은 기술 운영 위원회에 계속 남아 프로젝트를 일상적으로 이끌지만, Safetensors는 이제 이를 의존하는 커뮤니티에 공식적으로 속하게 됩니다.

우리는 모든 기여자가 이미 존재하는 것을 기반으로 구축할 수 있을 때 안전이 가장 보장된다고 믿습니다—이 원칙은 이제 프로젝트 거버넌스 자체에 내재되어 있습니다.

What this means for users and contributors

For users: nothing changes. The format, APIs, and Hub integration remain the same—no breaking changes. Models stored in Safetensors format today will continue to work exactly as they do now.

For contributors: the path to becoming a maintainer is now formally documented and open to anyone in the community. The project’s governance lives in GOVERNANCE.md and MAINTAINERS.md in the repository. For organizations building on top of Safetensors, neutral governance under the Linux Foundation provides a stable, long‑term, community‑driven foundation.

다음은 무엇인가

Safetensors는 잘 확립된 프로젝트이며, 생태계 전반에 채택되고 있지만, 우리는 아직 그 여정의 시작 단계에 있다고 확신합니다.

우리는 Safetensors가 torch 모델의 직렬화 시스템으로 PyTorch 코어 내에서 사용될 수 있도록 PyTorch 팀과 협력하고 있습니다.

앞으로 몇 달 동안 우리는 상당한 성장을 기대합니다:

• CUDA, ROCm 및 기타 가속기에 텐서를 직접 로드할 수 있도록 하는 디바이스 인식 로드 및 저장, 불필요한 CPU 스테이징 없이.
• 텐서 병렬 및 파이프라인 병렬 로드를 위한 일류 API, 각 랭크 또는 파이프라인 단계가 필요한 가중치만 로드하도록.
• FP8, GPTQ 및 AWQ와 같은 블록 양자화 형식, 그리고 양자화 환경이 진화함에 따라 서브바이트 정수 유형에 대한 공식 지원.

이러한 문제는 전체 생태계가 해결에 관심을 갖는 과제이며, PyTorch Foundation 내부에 있음으로써 다른 호스팅 프로젝트와 병행이 아닌 협업이 가능합니다.

참여하기

Safetensors는 오픈 소스이며 버그 보고서와 문서화부터 새로운 기능 및 거버넌스 참여에 이르기까지 모든 수준에서 기여를 환영합니다.

• GitHub:
• Documentation:
• PyTorch Foundation:

당신이 개발자, 연구자, 혹은 Safetensors를 기반으로 구축하는 조직이라면, 방향성을 shaping하는 데 더 많이 관여하고 싶을 때 이슈를 열거나 토론을 시작하거나 유지보수자에게 직접 연락하십시오. 이 프로젝트는 언제나 이를 사용하는 커뮤니티에 속해 있었으며, 그 거버넌스도 이제는 이를 반영합니다.