1주 전 · ai

[Paper] CanKD: Feature 기반 Knowledge Distillation을 위한 Cross-Attention 기반 Non-local 연산

우리는 Cross-Attention-based Non-local Knowledge Distillation (CanKD)이라는 새로운 feature-based knowledge distillation 프레임워크를 제안하며, 이 프레임워크는 cross-attention을 활용합니다.