[Paper] UNBOX: 자연어를 활용한 블랙박스 시각 모델 공개

Source: arXiv - 2603.08639v1

Overview

논문 UNBOX는 현대 비전 모델이 블랙‑박스 API 형태로만 제공되는(예: 클래스 확률만 반환하고 네트워크 구조, 가중치, 학습 데이터를 숨기는 클라우드 서비스) 상황에서 어떻게 해석할 수 있을지라는 시급한 문제를 다룹니다. 고전적인 “활성화 최대화” 작업을 대형 언어 모델(LLM)과 텍스트‑투‑이미지 확산 모델을 활용한 의미 검색으로 전환함으로써, UNBOX는 모델의 내부 구조나 학습 데이터를 전혀 보지 않고도 각 클래스가 모델에게 “무엇을 의미하는지”에 대한 인간이 읽을 수 있는 설명을 도출할 수 있습니다.

Key Contributions

• Fully black‑box interpretability framework – 출력 확률만으로 작동; 그래디언트, 파라미터, 학습 데이터가 필요하지 않음.
• Semantic activation maximization – LLM을 활용해 후보 텍스트 개념을 생성하고, diffusion 모델을 사용해 목표 클래스를 얼마나 잘 유발하는지 평가.
• Class‑wise textual descriptors – “흰 배를 가진 나뭇가지에 앉은 새”와 같이 모델의 암묵적 개념과 편향을 드러내는 간결한 자연어 설명을 생성.
• Comprehensive evaluation – ImageNet‑1K, Waterbirds, CelebA에서 백‑박스 기준 대비 충실도, 특징 상관관계, 편향 슬라이스 발견 측면에서 경쟁력 있는 성능을 입증.
• Open‑world auditing tool – 개발자가 특권 접근 없이도 독점 비전 API의 공정성과 견고성을 감사할 수 있음을 시연.

방법론

1. LLM을 이용한 프롬프트 생성

   • 각 목표 클래스(예: “sparrow”)에 대해, LLM에게 해당 클래스와 관련된 시각적 개념을 설명할 수 있는 다양한 텍스트 구문을 생성하도록 요청한다.
   • 프롬프트는 간단한 유사도 메트릭을 사용해 관련성 및 다양성 기준으로 필터링된다.

2. 확산 모델을 통한 의미 점수화

   • 생성된 각 구문을 텍스트‑투‑이미지 확산 모델(예: Stable Diffusion)에 입력하여 설명에 맞는 이미지 세트를 합성한다.
   • 그런 다음 블랙박스 비전 모델에 이 합성 이미지들을 입력하고, 클래스 확률을 해당 구문의 의미 활성화 점수로 사용한다.

3. 검색 문제로서의 최적화

   • 파이프라인은 반복된다: 높은 점수를 받은 구문을 (예: 형용사나 구성 요소를 추가하여) 확장하고 다시 평가함으로써, 자연어 공간에서 그래디언트가 없는 힐클라임을 수행한다.
   • 각 클래스에 대한 최종 출력은 가장 높은 활성화를 일으키는 구문(또는 짧은 구문 목록)이다.

4. 감사 및 편향 탐지

   • 클래스 전반에 걸친 상위 구문들을 검토함으로써, 저자들은 체계적인 편향(예: “waterbird” 클래스가 “lake”에 과도하게 연관되고 “forest”와는 덜 연관되는 현상) 및 숨겨진 학습 데이터 분포 신호를 식별한다.

결과 및 발견

• 경쟁력 있는 성능: 내부 접근이 없음에도 불구하고, UNBOX의 텍스트 설명은 최첨단에 근접하는 충실도를 달성합니다.
• 해석 가능성: 인간 평가자들은 UNBOX의 문구가 원시 활성화 맵보다 더 직관적이라고 판단했습니다.
• 편향 탐지: Waterbirds 데이터셋에서 UNBOX는 모델이 의존하고 있던 “배경 물 vs. 땅” 단서를 자동으로 찾아냈으며, 화이트‑박스 방법의 통찰과 일치했습니다.

Practical Implications

• API Auditing: 제3자 비전 서비스를 이용하는 기업(예: 콘텐츠 검토, 의료 영상)은 이제 빠른 “개념 감사”를 실행하여 모델이 보호된 속성에 무의식적으로 집중하고 있지 않은지 확인할 수 있습니다.
• Model Documentation: 개발자는 각 클래스별 가장 중요한 개념을 나열한 자연어 모델 카드를 생성하여 최종 사용자와 규제 기관에 대한 투명성을 향상시킬 수 있습니다.
• Rapid Prototyping: 기성 모델을 평가할 때 엔지니어는 UNBOX를 사용해 다양한 제공자가 동일한 클래스(예: “고양이”)를 어떻게 인코딩하는지 가중치를 다운로드할 필요 없이 비교할 수 있습니다.
• Bias Mitigation Pipelines: 감지된 편향 관련 구문을 데이터 수집 또는 파인튜닝 루프에 반영하여 보다 균형 잡힌 학습 데이터를 확보하도록 안내할 수 있습니다.

제한 사항 및 향후 연구

• LLM 및 확산 품질에 대한 의존성 – 부실한 프롬프트 생성이나 저해상도 이미지 합성은 특히 세밀하거나 추상적인 클래스에 대해 활성화 점수를 오도할 수 있습니다.
• 확장성 – 텍스트 공간에 대한 탐색이 반복적이며 수천 개 클래스가 있는 모델에서는 비용이 많이 들 수 있습니다.
• 도메인 이동 – 이 방법은 확산 모델의 시각적 사전이 블랙박스 모델의 학습 분포와 일치한다고 가정합니다; 큰 도메인 차이(예: 의료 영상)는 관련성을 감소시킬 수 있습니다.
• 향후 연구 방향으로는 저자들이 제시한 바와 같이 다중모달 LLM을 통합해 확산 호출 횟수를 줄이고, 방법을 비디오 모델에 확장하며, 프라이버시 보장을 형식화하는 것(탐색 과정이 우연히 독점 모델 동작을 유출하지 않도록 보장) 등이 있습니다.

저자

• Simone Carnemolla
• Chiara Russo
• Simone Palazzo
• Quentin Bouniot
• Daniela Giordano
• Zeynep Akata
• Matteo Pennisi
• Concetto Spampinato

논문 정보

• arXiv ID: 2603.08639v1
• 분류: cs.CV, cs.AI
• 출판일: 2026년 3월 9일
• PDF: Download PDF