[논문] 전방‑후방 지식 증류를 이용한 비지도 연속 클러스터링
개요
비지도 연속 학습(UCL)은 신경망이 레이블이나 과거 데이터에 대한 접근 없이 순차적인 작업을 학습하도록 하는 것을 목표로 합니다. 이 설정에서 주요 과제는 재앙적 망각(Catastrophic Forgetting) 으로, 모델이 새로운 작업을 학습할 때 이전에 학습한 작업을 잊어버리는 현상입니다. 레이블이 없어 학습과 기억 유지에 대한 가이드가 없기 때문에 UCL에서는 이 문제가 더욱 심화됩니다. 기존 완화 전략인 지식 증류와 재생 버퍼는 종종 메모리와 프라이버시 문제를 야기합니다. 또한 현재 UCL 방법들은 클러스터링 특화 목표를 크게 간과하고 있습니다. 이러한 격차를 메우기 위해 우리는 비지도 연속 클러스터링(UCC) 을 도입하고, 연속 클러스터링을 위한 전방‑후방 지식 증류(FBCC) 를 제안합니다. FBCC는 클러스터링 프로젝터를 갖춘 연속 교사 네트워크와 경량의 작업별 학생 네트워크를 활용합니다. 이중 단계 전방‑후방 증류 과정을 통해 교사는 과거 데이터를 저장하지 않으면서 새로운 클러스터를 학습하고, 이전에 발견된 클러스터 구조를 보존합니다. FBCC는 UCC에 대한 선구적인 접근법으로, 순차적인 작업 전반에 걸쳐 향상된 클러스터링 성능을 보여줍니다. 네 개의 벤치마크 데이터셋에 대한 실험 결과, FBCC가 클러스터링 정확도에서 기존 연속 학습 베이스라인을 지속적으로 능가하고 재앙적 망각을 크게 감소시킴을 확인했습니다.
핵심 기여
이 논문은 다음 분야의 연구를 제시합니다.
- cs.LG
방법론
자세한 방법론은 전체 논문을 참고하십시오.
실용적 함의
이 연구는 cs.LG 분야의 발전에 기여합니다.
저자
- Mohammadreza Sadeghi
- Sareh Soleimani
- Zihan Wang
- Narges Armanfard
논문 정보
- arXiv ID: 2606.07474v1
- 분류: cs.LG
- 발표일: 2026년 6월 5일
- PDF: PDF 다운로드