· ai
[Paper] CanKD: Feature 기반 Knowledge Distillation을 위한 Cross-Attention 기반 Non-local 연산
우리는 Cross-Attention-based Non-local Knowledge Distillation (CanKD)이라는 새로운 feature-based knowledge distillation 프레임워크를 제안하며, 이 프레임워크는 cross-attention을 활용합니다.