GGML과 llama.cpp가 HF에 합류해 Local AI의 장기적인 발전을 보장한다

Source: Hugging Face Blog

우리는 GGML, llama.cpp의 제작자들이 Hugging Face에 합류한다는 소식을 전하게 되어 매우 기쁩니다. 앞으로 AI를 열어두기 위해서입니다. 🔥

Georgi Gerganov와 그의 팀은 ggml과 llama.cpp 뒤에 있는 커뮤니티를 확장하고 지원하기 위해 Hugging Face에 합류합니다. 로컬 AI가 앞으로 몇 년간 기하급수적인 발전을 이어갈 것이기 때문입니다.

우리는 Georgi와 팀과 꽤 오랫동안 함께 일해 왔으며(이미 팀에 Son과 Alek 같은 훌륭한 llama.cpp 핵심 기여자들이 있습니다), 이 과정은 매우 자연스러웠습니다.

llama.cpp는 로컬 추론의 근본적인 빌딩 블록이고, transformers는 모델 정의의 근본적인 빌딩 블록이므로, 이것은 사실상 천생연분이라 할 수 있습니다. ❤️

llama.cpp, 오픈 소스 프로젝트 및 커뮤니티에 어떤 변화가 있을까요?

별다른 변화는 없습니다 – Georgi와 팀은 llama.cpp 유지 관리에 100 % 시간을 계속 할애하고, 기술 방향과 커뮤니티에 대한 완전한 자율성과 리더십을 유지합니다.
Hugging Face는 프로젝트에 장기적인 지속 가능한 자원을 제공하여 프로젝트가 성장하고 번영할 가능성을 높입니다. 프로젝트는 오늘날과 같이 100 % 오픈 소스이며 커뮤니티 주도형으로 남을 것입니다.

기술적 초점

• 원활한 통합 – transformers 라이브러리가 모델 정의의 “진실된 출처” 역할을 하는 만큼, llama.cpp에서 새로운 모델을 거의 “원클릭”에 가깝게 쉽게 배포할 수 있도록 작업할 것입니다.
• 패키징 및 사용자 경험 – 로컬 추론이 클라우드 추론에 비해 의미 있고 경쟁력 있는 대안이 됨에 따라, 일반 사용자가 로컬 모델을 배포하고 접근하는 방식을 개선하고 단순화할 것입니다. 우리의 목표는 llama.cpp를 어디서든 쉽게 사용할 수 있게 만드는 것입니다.

장기 비전

우리의 공동 목표는 앞으로 몇 년 동안 오픈 소스 초지능을 전 세계에 제공할 수 있도록 커뮤니티에 빌딩 블록을 제공하는 것입니다.

우리는 성장하는 로컬 AI 커뮤니티와 함께, 우리 기기에서 가능한 한 효율적으로 실행되는 궁극적인 추론 스택을 계속 구축해 나가면서 이를 실현할 것입니다.