나는 2주 만에 Gzip을 능가하는 압축 알고리즘을 만들었다. 나는 A+ 인증을 가지고 있다.

Source: Dev.to

소개

네트워킹 전공 학생이 어떻게 Rust를 사용해 업계 표준 압축 알고리즘을 능가하는 프로그램을 만들게 되었으며, 교실에서 배운 것보다 더 많은 컴퓨터 지식을 얻게 되었는지에 대한 이야기.

LLM API의 문제점

대형 언어 모델 API—Claude, GPT 등—를 실험하면서 같은 벽에 부딪혔습니다: 컨텍스트 윈도우는 비용이 듭니다. 보낸 토큰마다 비용이 발생하고, 모델이 읽는 토큰마다 비용이 발생합니다. 이 API 위에 에이전트, 메모리 시스템, 대화 기록이 필요한 어떤 프로젝트를 구축하든 토큰 예산을 끊임없이 관리해야 합니다.

압축 기법

이 접근 방식은 두 개의 스트림 전략을 사용합니다:

• AC 토큰화 → split(tok_ids, literals)
• tok_stream: deflate (변경 없음)
• lit_stream: deflate(literals, zdict=history[-32KB])

[2B token_stream_length][token_stream_deflated][literal_stream_deflated]

성능

• 청크당 p50 지연 시간: 0.007 ms.
• 모든 32개의 시드가 모든 코퍼스에서 양수였으며, 예외가 하나도 없었습니다.

결과

맞춤형 Rust 구현은 다양한 테스트 코퍼스에서 일관되게 Gzip보다 우수한 성능을 보였으며, 목표 지향적인 이중 스트림 디플레션 전략이 오랫동안 표준이 되어온 업계 표준을 능가할 수 있음을 입증했습니다.

오픈 소스 저장소

이 프로젝트는 MIT 라이선스 하에 오픈 소스로 제공됩니다:

https://github.com/atomsrkuul/glasik-core

저자

Robert Rider — 독립 연구원