Speculative Sampling을 이용한 대규모 언어 모델 디코딩 가속화

Source: Dev.to

개요

대형 언어 모델의 답변을 거의 두 배 빠르게 받을 수 있다고 상상해 보세요. 연구자들은 작은, 빠른 보조 모델을 사용해 몇 단어를 미리 작성하고, 큰 모델이 이를 확인하고 승인합니다 — 그래서 한 번의 단계에서 더 많은 텍스트를 얻을 수 있습니다. 이 접근 방식은 품질은 동일하게 유지하면서 대기 시간을 줄여, 대화가 더 부드럽고 덜 느리게 느껴지게 합니다.

추측 샘플링 작동 방식

이 트릭은 빠른 draft model(초안 모델)을 이용해 짧은 연속성을 추측하고, 메인 모델이 그 추측을 확인합니다. 시스템이 한 번의 검증으로 여러 단어를 생성하도록 허용함으로써, 초안 모델은 앞서서 쓰고 큰 모델은 그 출력을 검증합니다.

성능 향상

대형 모델을 사용한 테스트에서, 추측 샘플링은 실제 환경에서 2–2.5배 정도 속도 향상을 달성했으며, 큰 모델 자체를 변경하지 않았습니다. 따라서 서비스는 정확성을 유지하면서 모든 사용자에게 훨씬 더 빠르게 제공될 수 있습니다.

실용적 의미

전문가가 최종 승인을 하는 동안 보조자가 초안을 작성해 주는 것과 같습니다 — 시간을 절약하면서 신뢰는 유지됩니다. 질문을 입력하고 두 배 빠른 속도로 완전하고 부드러운 답변을 받는 모습을 상상해 보세요. 이는 바쁜 사람들과 즉각적인 답변을 선호하는 모든 사람에게 더 편리합니다.

추가 읽을거리

Paperium.net에서 종합 리뷰를 읽어보세요:
Accelerating Large Language Model Decoding with Speculative Sampling