[Paper] 객체 환각 방지 강화 언러닝 for Vision-Language Models

Source: arXiv - 2605.08031v1

개요

이 논문은 HFRU(Hallucination‑Free Reinforcement Unlearning)를 소개한다. 이는 비전‑언어 모델(VLM)이 특정 시각 개념을 잊게 하면서 “유령” 객체를 남기지 않거나 모델의 전반적인 능력을 손상시키지 않는 새로운 방법이다. 언어 디코더만이 아니라 비전 인코더를 목표로 함으로써, 저자들은 원치 않는 지식의 깊고 신뢰할 수 있는 삭제를 달성하면서도 모델을 다운스트림 작업에 유용하게 유지한다.

주요 기여

• Deep‑encoder unlearning: 시각 인코더를 직접 수정하여 시각 의미를 제거하고 피상적인 망각을 방지하는 최초의 프레임워크.
• Two‑stage reinforcement pipeline:
  1. Alignment disruption – 대상 개념에 대해 시각 특징과 텍스트 토큰 간의 긴밀한 결합을 깨뜨림.
  2. GRPO‑based optimization – 정렬, 추상화, 그리고 환각 패널티를 포함한 복합 보상을 사용해 인코더를 깨끗한 상태로 유도.
• Abstraction reward: 모델이 삭제된 객체를 의미적으로 타당한 대안(예: 특정 차 모델 대신 “차량”)으로 교체하도록 장려하여 객체 환각을 크게 감소시킴.
• Empirical breakthroughs: 객체 인식 및 얼굴 정체성 벤치마크에서 98 % 이상의 망각을 달성하면서, 관련 없는 작업에서는 원래 성능의 95 % 이상을 유지함을 보여줌.
• Open‑source release: 전체 코드, 사전 학습 체크포인트, 재현성 스크립트를 제공함.

Methodology

1. Problem Setup – 사전 학습된 VLM과 “민감한” 시각 개념(예: 특정 인물의 얼굴이나 저작권이 있는 작품) 집합이 주어졌을 때, 목표는 모델 내부 표현에서 이러한 개념의 흔적을 모두 지우는 것이다.
2. Stage 1 – Alignment Disruption
   • 대상 개념에 대한 비전 인코더의 출력 벡터를 원래 텍스트 임베딩에서 멀어지게 하는 contrastive loss를 사용해 교란한다.
   • 이 단계는 시각 특징과 언어 디코더 사이에 “갭”을 만들어 모델이 금지된 개념을 검색할 가능성을 낮춘다.
3. Stage 2 – Reinforcement‑guided Optimization (GRPO)
   • Reward Design:
     • Alignment Reward – 변형된 시각 특징과 원래 텍스트 토큰 사이의 잔여 유사성을 벌한다.
     • Abstraction Reward – 모델이 삭제된 개념을 더 높은 수준의 의미적으로 올바른 설명(예: “dog” 대신 “animal”)으로 대체할 때 보상을 제공한다.
     • Hallucination Penalty – 순진한 unlearning 후 자주 나타나는 무관한 객체 생성을 억제한다.
   • 정책 그래디언트 알고리즘(GRPO)이 인코더 가중치를 업데이트하여 복합 보상을 최대화한다. 이는 인코더를 “재학습”시켜 기억을 지우면서도 의미적 일관성을 유지하도록 만든다.
4. Evaluation Protocol – 저자들은 두 가지 측면에서 forgetting을 테스트한다: (a) Object Recognition(예: ImageNet‑style 분류)와 (b) Face Identity Retrieval(다양한 뷰에서 얼굴 매칭). 보존은 유지되어야 할 개념들의 별도 보류 집합에서 측정한다.

Results & Findings

• Deep forgetting: 인코더에서 작동함으로써 HFRU는 텍스트 라벨뿐 아니라 대상 개념의 시각적 지문을 제거합니다.
• Minimal side‑effects: 추상화 보상이 모델의 출력을 합리적으로 유지시켜, 이전 방법에서 발생하던 “환각” 객체들을 방지합니다.
• Scalability: ImageNet 클래스의 최대 5 %를 제거한 실험에서도 동일한 추세가 나타나, 이 접근법이 더 큰 언러닝 범위에도 적용 가능함을 보여줍니다.

Practical Implications

• Privacy‑compliant AI services: 기업은 전체 모델을 재구축하지 않고도 사용자 제공 이미지(예: 얼굴, 저작권이 있는 아트)를 VLM에서 사후에 삭제할 수 있다.
• Copyright enforcement: 미디어 플랫폼은 모델의 지식 베이스에서 특정 저작권이 있는 객체를 제거하여 법적 위험을 감소시키면서도 전체 성능을 유지할 수 있다.
• Bias mitigation: 민감한 인구통계 그룹을 VLM에서 학습 해제함으로써 캡션 생성이나 시각 검색과 같은 하위 응용 프로그램에서 의도치 않은 편향을 억제할 수 있다.
• Developer workflow: HFRU는 VLM을 미세 조정한 후 플러그인 단계로 통합될 수 있으며, 추가 연산량이 원래 훈련 비용의 약 0.3×에 불과하다.
• Open‑source tooling: 공개된 저장소에는 맞춤형 “forget lists”를 정의하는 스크립트가 포함되어 있어 엔지니어가 프로덕션 파이프라인에 이 방법을 쉽게 적용할 수 있다.

제한 사항 및 향후 작업

• 계산 오버헤드: 전체 재학습보다 비용이 적지만, 2단계 강화 프로세스는 대규모 모델(e.g., CLIP‑ViT‑L/14)에서 여전히 눈에 띄는 지연을 초래합니다.
• 추상화 범위: 추상화 보상은 일반 카테고리에는 잘 작동하지만, 매우 미묘한 개념(e.g., 특정 의료 영상 소견)에서는 어려움을 겪을 수 있습니다.
• 평가 범위: 이 논문은 분류와 얼굴‑ID 작업에 초점을 맞추고 있으며; HFRU를 생성형 VLM(e.g., 이미지‑텍스트 생성)에 적용하는 것은 아직 미해결 과제입니다.
• 향후 방향: 저자들은 보다 효율적인 정책‑그라디언트 변형을 탐색하고, 프레임워크를 다중모달 생성 모델로 확장하며, 추상화 어휘 선택을 자동화하여 환각 위험을 더욱 감소시키는 것을 제안합니다.

저자

• Kaidi Jia
• Yujie Lin
• Chengyi Yang
• Jiayao Ma
• Jinsong Su

논문 정보

• arXiv ID: 2605.08031v1
• 카테고리: cs.CV
• 출판일: 2026년 5월 8일
• PDF: PDF 다운로드