1개월 전 · ai

AdaSPEC: 효율적인 추측 디코더를 위한 선택적 지식 증류

Introduction AdaSPEC은 초기 생성 단계에서 작은 draft model을 사용하고, 그 다음 verification을 통해 large language models의 속도를 높이는 새로운 방법입니다.

1개월 전 · ai

[Paper] CanKD: Feature 기반 Knowledge Distillation을 위한 Cross-Attention 기반 Non-local 연산

우리는 Cross-Attention-based Non-local Knowledge Distillation (CanKD)이라는 새로운 feature-based knowledge distillation 프레임워크를 제안하며, 이 프레임워크는 cross-attention을 활용합니다.