[Paper] Vendi Novelty Scores를 이용한 Out-of-Distribution Detection
발행: (2026년 2월 11일 오전 03:30 GMT+9)
9 분 소요
원문: arXiv
Source: arXiv - 2602.10062v1
Overview
Out‑of‑distribution (OOD) detection은 모델이 학습한 데이터와 다른 입력을 표시하는 기능으로, 프로덕션 수준 AI 시스템에 필수적인 안전망입니다. 이 논문은 Vendi Novelty Scores (VNS) 라는 새로운 OOD 탐지기를 소개합니다. VNS는 신뢰도나 가능도 추정에 의존하는 대신, 새로움(novelty)을 다양성(diversity) 문제로 다룹니다. 테스트 샘플이 인‑분포(feature) 집합의 다양성을 얼마나 증가시키는지를 측정함으로써, VNS는 간단하고 빠르며 메모리 사용량이 적은 동시에 최첨단 수준의 탐지 성능을 제공합니다.
주요 기여
- 다양성 기반 OOD 탐지: 새로운 샘플이 Vendi Score (유사성 기반 다양성 메트릭)를 어떻게 변화시키는지를 질문으로 OOD 탐지를 정의합니다.
- Vendi Novelty Score (VNS): 밀도 모델링 없이 지역 (클래스‑조건부) 및 전역 (데이터셋‑전체) 새로운 단서를 결합하는 비모수, 선형‑시간 알고리즘입니다.
- 작은 레퍼런스 세트에 대한 확장성: VNS가 훈련 데이터의 단 1 %만으로도 구축될 때에도 최고의 성능을 유지함을 보여주며, 엣지 디바이스나 프라이버시 제한 환경에서의 사용을 가능하게 합니다.
- 광범위한 실증 검증: 여러 이미지 분류 벤치마크(CIFAR‑10/100, ImageNet 등)와 다양한 네트워크 아키텍처(ResNet, DenseNet, Vision Transformers)에서 기존 사후 OOD 탐지기를 능가합니다.
방법론
- Feature extraction: 모든 in‑distribution 훈련 샘플을 대상 모델의 고정된 백본을 통해 전달하고, 그들의 잠재 표현(예: 마지막 전 레이어)을 수집합니다.
- Compute Vendi Score (VS): VS는 벡터 집합 간의 쌍별 유사성을 집계하는 커널 기반 다양성 측도입니다. 직관적으로, 많은 유사한 점들로 이루어진 집합은 낮은 VS를, 특징 공간에 넓게 퍼진 집합은 높은 VS를 갖습니다.
- Novelty estimation: 테스트 샘플 (x)에 대해, 원래 in‑distribution 집합 플러스 (x)의 특징을 포함한 VS를 계산합니다. Vendi Novelty Score는 (x)를 추가함으로써 발생한 VS의 증가입니다.
[ \text{VNS}(x) = \text{VS}(\mathcal{F}\cup{f(x)}) - \text{VS}(\mathcal{F}) ]
여기서 (\mathcal{F})는 저장된 특징 집합을, (f(\cdot))는 특징 추출기를 나타냅니다.
- Local vs. global signals: VNS는 전체 특징 집합(전역) 또는 클래스별로 별도(국부) 계산될 수 있습니다. 최종 점수는 가중된 혼합으로, 탐지기가 “이 샘플은 어떤 클래스와도 다르게 보인다”와 “이 샘플이 전체 데이터 매니폴드에서 멀리 떨어져 있다” 두 가지 신호를 모두 포착하도록 합니다.
- Decision rule: VNS에 대한 간단한 임계값을 적용하면 in‑distribution과 OOD 입력을 구분할 수 있으며, 임계값은 작은 검증 분할을 사용해 설정할 수 있습니다.
VS는 쌍마다 상수 시간에 평가 가능한 커널로 계산되므로 전체 비용은 (\mathcal{F}) 크기에 대해 선형적으로 확장됩니다. 추가 훈련, 밀도 추정, 혹은 그래디언트 기반 점수 계산이 필요하지 않습니다.
Results & Findings
| Dataset / Backbone | AUROC (previous best) | AUROC (VNS) | Memory used for reference set |
|---|---|---|---|
| CIFAR‑10 / ResNet‑34 | 96.2 % | 98.1 % | 1 % of training images |
| CIFAR‑100 / DenseNet | 93.5 % | 96.8 % | 1 % of training images |
| ImageNet‑O / ViT‑B/16 | 89.4 % | 92.3 % | 1 % of training images |
핵심 요약
- 최첨단 탐지: VNS는 신뢰도 기반(예: Maximum Softmax Probability) 및 가능도 기반(예: Mahalanobis) 탐지기보다 일관되게 우수한 성능을 보입니다.
- 축소된 레퍼런스 데이터에 대한 강인성: 저장된 특징을 99 % 감소시켜도 VNS는 AUROC가 1 % 미만만 감소하여, 훈련 분포의 다양성을 아주 작은 스케치만으로도 포착할 수 있음을 보여줍니다.
- 빠른 추론: 선형 시간 점수 계산 덕분에 CPU에서 이미지당 서브 밀리초 지연을 달성하여 실시간 시스템에 실용적입니다.
Practical Implications
- Edge 및 IoT 배포: VNS는 저장된 특징 벡터가 소수만 필요하기 때문에 메모리 제한이 엄격한 장치(예: 스마트폰, 드론, 임베디드 카메라)에 적합합니다.
- Zero‑training OOD 가드레일: 팀은 기존 모델에 OOD 탐지기를 재학습이나 미세조정 없이 추가할 수 있습니다—한 번 작은 특징 뱅크를 추출하고 VNS 루틴을 연결하기만 하면 됩니다.
- 안전‑중요 파이프라인: 자율 주행, 의료 영상, 사기 탐지 등에서 VNS는 경량 “새로움 알람”으로 작동하여 하위 결정이 내려지기 전에 이상 분포 입력을 표시합니다.
- 프라이버시‑보호 시나리오: 참조 집합이 원본 데이터의 아주 작은, 경우에 따라 익명화된 부분집합일 수 있기 때문에 VNS는 데이터 보유를 제한하는 규제와 부합합니다.
Limitations & Future Work
- Dependence on feature quality: VNS는 기본 모델의 표현력을 물려받으며, 백본이 클래스를 제대로 구분하지 못하면 VNS도 어려움을 겪을 수 있습니다.
- Kernel choice sensitivity: 저자들은 Gaussian 커널을 사용하지만, 고차원 특징에 대한 대역폭 선택은 성능에 영향을 미칠 수 있으며 도메인에 특화된 튜닝이 필요할 수 있습니다.
- Extension beyond vision: 이 논문은 이미지 분류에 초점을 맞추고 있으므로, VNS를 텍스트, 음성, 혹은 멀티모달 데이터에 적용하려면 적절한 특징 추출기와 유사도 측정 방법을 조사해야 합니다.
- Theoretical guarantees: 향후 연구에서는 레퍼런스 집합 크기와 커널 파라미터를 함수로 하는 탐지 오류에 대한 경계값을 정형화하여, 안전‑중요 시스템에 대한 보다 강력한 보장을 제공할 수 있습니다.
저자
- Amey P. Pasarkar
- Adji Bousso Dieng
논문 정보
- arXiv ID: 2602.10062v1
- 분류: cs.LG, cs.CV
- 출판일: 2026년 2월 10일
- PDF: PDF 다운로드