[Paper] 기억을 넘어서: Vision-Language Models의 Popularity Bias를 드러내는 Multi-Modal Ordinal Regression Benchmark

Source: arXiv - 2512.21337v1

Overview

새로운 연구는 오늘날의 주요 비전‑언어 모델(VLM)에서 숨겨진 “인기 편향(popularity bias)”을 밝혀냈습니다. 방대한 건축 사진 컬렉션을 학습시킴으로써, 저자들은 이 모델들이 유명한 랜드마크의 건축 연도를 예측할 때 일반적인 구조물에 비해 34 % 더 높은 정확도를 보인다는 것을 보여주었습니다. 이는 모델이 실제 시각적 추론보다 암기된 사실에 더 많이 의존한다는 것을 시사합니다. 이 편향을 측정 가능하게 만들기 위해 연구진은 YearGuessr를 구축했으며, 이는 건축 이미지에 대한 다중 모달 순서 회귀를 위한 가장 큰 공개 벤치마크입니다.

주요 기여

• YearGuessr 데이터셋: 157개 국가에서 수집한 55,546개의 건물 이미지로, 연속적인 건축 연도(1001‑2024), GPS 좌표, 페이지 뷰 수(인기의 대리 지표)로 라벨링되었습니다.
• 인기 인식 평가: 항목의 인기를 명시적으로 반영하는 구간 정확도 지표를 도입하여 정량적 편향 분석을 가능하게 했습니다.
• 서수 회귀 프레이밍: 연도 예측을 서수 회귀 문제로 설정하여, 표준 분류보다 시간의 순서성을 더 잘 반영합니다.
• 포괄적 벤치마크: 새로운 데이터셋에서 30개 이상의 최신 VLM(예: CLIP, BLIP, 그리고 저자들의 YearCLIP)을 평가했습니다.
• 기억에 대한 실증적 증거: VLM이 “인기 있는”(페이지 뷰가 높은) 건물에서 최대 34 % 높은 정확도를 달성함을 보여주어, 기억된 콘텐츠에 대한 체계적인 편향이 존재함을 확인했습니다.

방법론

1. Data collection – 이미지들은 공개 소스(예: Wikipedia, OpenStreetMap)에서 스크래핑되었으며, 구조화된 메타데이터와 짝을 이루었습니다: 건축 연도, 위도/경도, 그리고 Wikipedia 페이지‑view 통계.
2. Label design – 건축 연도는 continuous ordinal label(연속 순서형 라벨)로 취급됩니다; 작업은 이산 클래스가 아니라 올바른 연도 구간을 예측하는 것입니다.
3. Model adaptation – 기존 VLM은 YearGuessr에 대해 pairwise ranking loss(쌍별 순위 손실)를 사용하여 미세 조정되었으며, 이는 순서형 순서를 존중합니다(예: “older than” vs. “newer than”). 저자들은 또한 연도 추정을 직접 출력하는 CLIP‑style encoder‑decoder인 YearCLIP을 도입했습니다.
4. Bias metrics – 두 가지 새로운 메트릭이 정의되었습니다:
   • Popularity‑Weighted Interval Accuracy (PWIA) – 각 샘플을 페이지‑view 수로 가중하여 정확도를 측정합니다.
   • Popularity Gap (PG) – 높은 인기와 낮은 인기 하위 집합 간 PWIA의 절대 차이입니다.
5. Evaluation protocol – 모델은 별도 검증 세트에서 테스트되었으며, 결과는 편향을 드러내기 위해 인기 사분위수별로 층화되었습니다.

Results & Findings

• 모든 VLM이 무작위 기준선보다 성능이 높지만 인기 낮은 건물에 대해서는 일관되게 낮은 정확도를 보입니다.
• 인기 격차(18‑19 %)는 통계적으로 유의미하며(p < 0.001), 모델이 견고한 시각‑시간 매핑을 학습하기보다 트래픽이 많은 사례를 기억하고 있음을 확인시켜 줍니다.
• YearCLIP은 전체 오류 범위를 줄이지만 편향을 완전히 없애지는 못합니다. 이는 아키텍처‑특화 파인튜닝만으로는 충분하지 않다는 것을 의미합니다.

실용적 함의

• 제품 신뢰성: 역사적 연대 측정에 VLM을 활용하는 애플리케이션(예: 문화유산 보존 도구, 부동산 평가, AR 관광 가이드)은 덜 알려진 구조물에 대해 체계적으로 왜곡된 결과를 낼 수 있다.
• 데이터셋 관리: 엔지니어는 인기 있는 엔터티가 과도하게 포함된 학습 파이프라인에 주의해야 하며, 인기도에 따라 데이터셋을 균형 있게 구성하면 기억화 효과를 완화할 수 있다.
• 모델 감사: 도입된 PWIA 및 PG 지표는 다중 모달 환경에 배치된 모든 VLM에 대해 플러그‑앤‑플레이 감사를 제공하며, 팀이 출시 전에 숨겨진 편향을 드러내는 데 도움을 준다.
• 파인튜닝 전략: 대조 순서 손실과 인기도 인식 샘플링을 도입하면 과소 대표 클래스에 대한 일반화 성능을 향상시킬 수 있다.
• 규제 준수: 문화유산 분야에 사용되는 AI 시스템의 경우, 편향 완화 조치를 입증하는 것이 규제 요구사항이 될 수 있으며, 특히 AI 공정성을 강조하는 관할구역에서 그러하다.

제한 사항 및 향후 연구

• 인기도 프록시 – 페이지 조회수는 온라인 관심을 포착하지만 실제 명성을 완전히 반영하지 않을 수 있다; 대안 신호(관광객 방문 수, 인용 횟수 등)를 탐색할 수 있다.
• 지리적 커버리지 – 157개국에 걸치지만, 데이터셋은 여전히 디지털 문서가 풍부한 지역(예: 유럽, 북미) 쪽으로 편향되어 있다.
• 시간적 세분성 – 모델은 단일 연도를 예측한다; 많은 역사적 건물은 단계적 건설이나 리노베이션이 있어 단일 라벨로는 포착할 수 없다.
• 모델 범위 – 벤치마크는 VLM에 초점을 맞추고 있다; 순수 비전 모델이나 다른 사전 학습 방식을 가진 멀티모달 트랜스포머로 분석을 확장하면 인사이트가 넓어질 것이다.
• 편향 완화 – 향후 연구에서는 적대적 디바이싱, 커리큘럼 학습, 합성 데이터 증강을 테스트하여 인기도 신호에 대한 의존도를 줄여야 한다.

시각 콘텐츠를 해석하는 AI 제품을 구축하고 있다면, YearGuessr 벤치마크와 저자들의 편향 메트릭을 살펴볼 가치가 있다. 이는 모델이 이미지를 진정으로 “이해”하는지, 아니면 가장 많이 구글링된 사실을 암기하고 있는지 테스트할 구체적인 방법을 제공한다.

저자

• Li‑Zhong Szu‑Tu
• Ting‑Lin Wu
• Chia‑Jui Chang
• He Syu
• Yu‑Lun Liu

논문 정보

• arXiv ID: 2512.21337v1
• Categories: cs.CV
• Published: December 24, 2025
• PDF: PDF 다운로드