[Paper] 사전 학습으로 이득 얻기: 깨끗한 라벨 없이도 강인한 학습

Source: arXiv - 2511.20844v1

Overview

노이즈가 포함된 라벨이 잘못된 데이터셋에서 딥 뉴럴 네트워크를 학습시키는 것은 유명한 고충 중 하나입니다—모델이 노이즈를 외우게 되어 실제 성능이 저하됩니다. 논문 Pre‑train to Gain: Robust Learning Without Clean Labels에서는 깨끗한 부분집합이 전혀 없는 상황에서도, 간단한 두 단계 레시피(자기지도 사전학습 후 일반적인 지도식 미세조정)가 견고성을 크게 향상시킬 수 있음을 보여줍니다.

Key Contributions

• 라벨에 구애받지 않는 사전학습: 자기지도 학습(SSL) 방법(SimCLR, Barlow Twins)을 사용해 라벨 없이도 강력한 특징 추출기를 학습할 수 있음을 입증합니다.
• 노이즈에 강인한 미세조정: SSL‑사전학습된 백본 위에 표준 지도식 학습을 수행하면, 처음부터 학습하는 경우보다 노이즈가 많은 데이터셋에서 훨씬 높은 정확도를 얻을 수 있음을 보여줍니다.
• 포괄적인 평가: CIFAR‑10 및 CIFAR‑100에 대해 합성 노이즈(균등, 비대칭)와 실제 노이즈(WebVision‑type)를 모두 적용한 실험을 통해 다양한 노이즈 비율에서 일관된 성능을 확인했습니다.
• 라벨 오류 탐지 개선: SSL‑사전학습된 모델은 다운스트림 오류 탐지 도구에 더 좋은 표현을 제공하여 F1 점수와 균형 정확도 점수를 향상시킵니다.
• ImageNet 사전학습과 경쟁: 낮은 노이즈 수준에서는 ImageNet‑사전학습 기반 베이스라인과 동등한 성능을 보이며, 노이즈가 심할 때는 큰 차이로 능가합니다.

Methodology

1. Self‑Supervised Pre‑training

   • SSL 알고리즘(SimCLR 또는 Barlow Twins) 선택.
   • 데이터 증강과 대비/중복 감소 손실만을 이용해 라벨이 없는 학습 이미지에 대해 컨볼루션 백본(예: ResNet‑18)을 학습.
   • 인간이 제공한 라벨이 전혀 필요 없으며, 모델은 동일 이미지의 서로 다른 뷰를 유사한 임베딩으로 매핑하도록 학습합니다.

2. Supervised Fine‑tuning on Noisy Labels

   • 백본을 고정하거나 가볍게 미세조정하면서 노이즈가 있는 라벨 데이터셋에 선형 분류기(또는 작은 헤드)를 학습.
   • 일반적인 교차 엔트로피 손실 사용; 1단계에서 학습된 견고한 특징 덕분에 잘못된 라벨에 과적합하는 경향이 감소합니다.

3. Evaluation & Error Detection

   • 깨끗한 테스트 세트에서 분류 정확도 측정.
   • 간단한 라벨 오류 탐지기(예: 신뢰도 임계값 적용 또는 작은 보조 네트워크)를 미세조정된 모델 출력에 적용해, 표현이 잘못 라벨된 샘플을 얼마나 잘 드러내는지 평가.

이 파이프라인은 추가적인 깨끗한 데이터가 전혀 필요 없으며, 노이즈가 있는 학습 세트와 SSL 사전학습 단계에 필요한 계산 자원(보통 동일 데이터셋에 대해 몇 에폭)만 있으면 됩니다.

Results & Findings

• 모든 노이즈 수준에서 일관된 향상; 노이즈가 클수록 격차가 커집니다.
• 라벨 오류 탐지가 F1 점수 기준 약 10 % 향상되어, 다운스트림 정제 파이프라인이 더 신뢰성 있게 됩니다.
• ImageNet 사전학습 모델과 비교했을 때, SSL‑사전학습 방식은 ≤20 % 노이즈에서는 동등한 성능을 보이며, ≥50 % 노이즈에서는 절대 정확도가 최대 12 %까지 우수합니다.

이 결과는 학습된 표현이 지도식 ImageNet 사전학습으로 얻은 것보다 본질적으로 노이즈에 더 강인함을 보여줍니다.

Practical Implications

• 데이터 중심 파이프라인: 웹에서 수집한 이미지나 사용자 생성 콘텐츠처럼 대규모이지만 불완전한 데이터셋을 다루는 팀은 라벨링 없이 “깨끗한” 특징 추출기를 얻기 위해 SSL 사전학습 단계를 삽입할 수 있습니다.
• 정제된 부분집합 의존도 감소: 기존 노이즈 라벨 방법들은 손실 보정이나 샘플 가중치를 위해 작은 깨끗한 검증 세트를 필요로 합니다. 본 연구는 그 요구사항을 없애 데이터 수집을 단순화하고 라벨링 비용을 낮춥니다.
• 다운스트림 도구 향상: 향상된 임베딩은 이상 탐지기, 능동 학습 질의 전략, 반지도식 라벨 전파 등의 성능을 끌어올려 데이터 정제 루프를 가속화합니다.
• 하드웨어 친화적: SSL 단계는 일반 학습에 사용되는 동일 GPU(예: 단일 GPU)에서 실행 가능하며 데이터셋 크기에 선형적으로 확장돼 대부분의 프로덕션 팀에 실현 가능합니다.
• 전이 가능성: 노이즈가 있는 소스 도메인에서 견고한 백본을 얻은 뒤, 객체 검출·세그멘테이션 등 관련 작업에 대해 훨씬 적은 양의 깨끗한 라벨만으로 미세조정할 수 있습니다.

Limitations & Future Work

• 계산 오버헤드: SSL 사전학습 단계를 추가하면 전체 학습 시간이 (보통 단일 지도식 실행 대비 2–3배) 증가합니다.
• SSL 하이퍼파라미터: 특징 품질은 증강 선택과 손실 온도 설정에 크게 좌우되며, 최적이 아닌 설정은 이득을 감소시킬 수 있습니다.
• 도메인 이동: 실험은 CIFAR 규모 이미지에 한정돼 있어, 고해상도 이미지나 비시각적 모달리티(예: 오디오, 텍스트)에서의 확장 가능성은 아직 검증되지 않았습니다.
• 이론적 이해 부족: 경험적 결과는 강력하지만, SSL이 라벨 노이즈를 완화하는 메커니즘에 대한 형식적 분석은 아직 진행 중인 연구 과제입니다.

향후 연구에서는 경량 SSL 변형, 점진적으로 노이즈 라벨을 도입하는 커리큘럼식 미세조정, 그리고 멀티모달·스트리밍 데이터 시나리오로의 확장을 탐색할 수 있습니다.

Authors

• David Szczecina
• Nicholas Pellegrino
• Paul Fieguth

Paper Information

• arXiv ID: 2511.20844v1
• Categories: cs.LG, cs.AI, cs.NE
• Published: November 25, 2025
• PDF: PDF 다운로드