[Paper] 고품질 데이터 공유를 위한 계층적 데이터셋 선택

Source: arXiv - 2512.10952v1

개요

현대 머신러닝 모델은 대규모 고품질 학습 데이터에 크게 의존하지만, 실제로 데이터는 여러 개별 저장소에 흩어져 있습니다—공개 데이터셋, 기업 데이터 레이크, 혹은 기관 간 협업 등. 이 논문은 데이터셋 선택을 공식화합니다: 이질적인 풀(pool)에서 개별 샘플이 아니라 전체 데이터셋을 선택하여 예산 제약을 만족하면서 다운스트림 성능을 극대화하는 문제. 저자들은 데이터 소스의 자연스러운 계층 구조(예: 컬렉션, 기관)를 활용해 더 똑똑하고 빠른 선택 결정을 내리는 DaSH (Dataset Selection via Hierarchies) 방법을 제안합니다.

주요 기여

• 문제 정의: 전통적인 샘플 수준 데이터 선택과 구별되는 “데이터셋 선택”을 공식화하고, 소스 수준의 관련성 중요성을 강조합니다.
• DaSH 알고리즘: 개별 데이터셋과 그 상위 그룹을 동시에 평가하는 계층적 효용 모델을 제안하여 소수의 관찰만으로 효율적인 일반화를 가능하게 합니다.
• 실험적 향상: 두 개의 멀티‑도메인 벤치마크(Digit‑Five, DomainNet)에서 최신 데이터 선택 베이스라인 대비 최대 26.2 % 높은 정확도를 달성했습니다.
• 샘플 효율적 탐색: DaSH는 높은 효용의 부분집합에 수렴하기 위해 필요한 탐색 단계가 훨씬 적어, 계산 및 라벨링 비용을 크게 절감합니다.
• 견고성 분석: 관련 데이터셋이 부족하거나 자원이 극도로 제한된 상황에서도 DaSH가 잘 작동한다는 것을 확인하는 Ablation 실험을 제공합니다.

방법론

1. 문제 설정 – 각 데이터셋이 상위 그룹(예: 대학, 공개 저장소)에 속하는 대규모 데이터셋 풀을 가정합니다. 목표는 고정된 예산(예: 총 샘플 수, 연산 시간) 내에서 데이터셋의 부분집합을 선택하는 것입니다.
2. 계층적 효용 모델 – DaSH는 두 가지 효용 점수를 학습합니다:
   • 그룹 효용은 전체 컬렉션이 얼마나 유망한지를 포착합니다(예: “의료 영상 연구실”).
   • 데이터셋 효용은 선택된 그룹 내 개별 데이터셋의 가치를 추정해 이를 세분화합니다.
     모델은 온라인으로 학습됩니다: 소량의 데이터셋을 샘플링해 다운스트림 작업에 평가한 뒤, 밴딧 스타일 피드백 루프를 통해 효용 추정치를 업데이트합니다.
3. 선택 전략 – 각 반복에서 DaSH는 먼저 가장 유망한 그룹을 (탐색 vs. 활용 트레이드오프를 고려해) 선택하고, 그 다음 해당 그룹 내부에서 최고 점수를 받은 데이터셋을 선택합니다. 이 두 단계 접근법은 평면적인 샘플‑레벨 선택기에 비해 탐색 공간을 크게 줄여줍니다.
4. 예산 적용 – 선택된 데이터셋들의 누적 비용이 사전에 지정된 예산에 도달하면 알고리즘을 종료해 실용성을 보장합니다.

결과 및 발견

• 최종 성능 향상: DaSH는 무작위 선택 및 정교한 샘플‑레벨 선택기 모두를 지속적으로 능가합니다.
• 빠른 수렴: 계층적 접근법은 평면 방법이 필요로 하는 선택 횟수의 일부분만으로도 거의 최적에 근접한 성능에 도달합니다.
• 견고성: 풀에 저품질 또는 무관한 데이터셋이 많이 포함돼 있어도 DaSH는 초기에 이를 배제하고, 예산을 높은 효용을 가진 소스로 집중합니다.

실용적 함의

• 기관 간 협업: 조직은 자동으로 어떤 파트너 데이터셋을 도입할 가치가 있는지 식별해 수주 단위의 수동 큐레이션 시간을 절감할 수 있습니다.
• 데이터 마켓플레이스 통합: 데이터셋을 판매·공유하는 플랫폼은 DaSH를 내장해 구매자가 비용 상한선 내에서 모델 성능을 최대화할 수 있는 번들을 추천할 수 있습니다.
• 지속 학습 파이프라인: 주기적으로 새로운 데이터 소스를 수집하는 프로덕션 시스템에서 DaSH는 게이트키퍼 역할을 수행해 인간 개입 없이도 유익한 데이터셋만 추가하도록 보장합니다.
• 자원 제한 학습: 엣지 AI나 온프레미스 환경처럼 연산·스토리지가 제한된 경우, DaSH는 가장 영향력 있는 데이터에 자원을 할당하도록 돕습니다.

제한 사항 및 향후 연구

• 명확한 계층 구조 가정: DaSH는 사전에 정의된 데이터셋 그룹에 의존합니다; 실제 복잡한 카탈로그에서는 이러한 계층을 구축하는 것이 쉽지 않을 수 있습니다.
• 수백만 데이터셋에 대한 확장성: 탐색 단계는 감소했지만 현재 실험은 수백 개 데이터셋을 대상으로 했으며, 진정한 대규모 풀을 다루려면 추가적인 인덱싱이나 분산 구현이 필요합니다.
• 정적 효용 추정: 모델은 선택 과정 동안 효용을 고정된 것으로 간주합니다; 향후 연구에서는 데이터셋 관련성이 시간에 따라 변하는 개념 드리프트를 반영할 수 있습니다.
• 다중모달 데이터 확장: 본 논문은 이미지 분류 벤치마크에 초점을 맞추었으며, 텍스트·오디오·다중모달 데이터에 DaSH를 적용하려면 모달리티별 효용 신호가 필요합니다.

핵심 요약: DaSH는 예산 제약 하에 전체 데이터셋을 선택하기 위한 실용적이고 계층 인식 프레임워크를 제공하며, 현재 데이터 선택 파이프라인에서 흔히 겪는 시행착오 비용을 크게 줄이면서 상당한 정확도 향상을 달성합니다. 데이터 중심 AI 시스템을 구축하는 개발자는 이 접근법을 활용해 고품질 학습 데이터 큐레이션 작업을 자동화·확장할 수 있습니다.

저자

• Xiaona Zhou
• Yingyan Zeng
• Ran Jin
• Ismini Lourentzou

논문 정보

• arXiv ID: 2512.10952v1
• Categories: cs.LG, cs.AI
• Published: December 11, 2025
• PDF: Download PDF