[Paper] Vision-Language-Action 모델에 대한 Attention-Guided Patch-Wise Sparse Adversarial Attacks

Source: arXiv - 2511.21663v1

Overview

Vision‑Language‑Action (VLA) 모델은 가정용 로봇부터 AR 어시스턴트에 이르기까지 많은 구현형 AI 시스템의 핵심을 이룹니다. 이 논문은 ADVLA 라는 경량형 적대적 공격을 소개합니다. ADVLA는 시각 특징이 언어 공간으로 투영된 이후에 시각 특징을 교란함으로써, 시각적 변화를 매우 작고 국소적으로 유지하면서도 하위 작업을 거의 완벽하게 방해합니다.

Key Contributions

• Feature‑space attack: 원시 픽셀을 수정하는 대신, ADVLA는 언어 모듈에 전달되는 시각 인코더 출력에 직접 교란을 주입합니다.
• Attention‑guided sparsity: 모델 자체의 어텐션 맵을 활용해 가장 영향력 있는 패치에 교란을 집중시키며, 수정된 영역을 이미지의 < 10 % 로 감소시킵니다.
• 세 가지 보완 전략
  1. Sensitivity amplification – 영향력이 큰 특징에 대한 그래디언트를 증폭합니다.
  2. Sparse masking (Top‑K) – 상위 K개의 어텐션 패치에만 교란을 허용합니다.
  3. Concentration regularization – 교란의 질량이 핵심 영역에 집중되도록 유도합니다.
• Efficiency: 단일 단계 공격은 이미지당 약 0.06 초에 실행되며, 기존 패치 기반 방법보다 몇 배 빠릅니다.
• Strong empirical results: $L_{\infty}=4/255$ 예산 하에서, ADVLA는 눈에 거의 띄지 않는 변화로 ≈ 100 %의 공격 성공률을 달성합니다.

Methodology

1. Feature extraction – 시각 인코더가 입력 프레임을 처리하여 일련의 패치 임베딩을 생성합니다.
2. Projection to language space – 이 임베딩을 언어 모델이 소비하는 텍스트 특징 공간으로 선형 투영합니다.
3. Gradient‑based perturbation – ADVLA는 투영된 특징에 대한 하위 작업 손실의 그래디언트를 계산합니다.
4. Attention guidance – 모델의 교차‑모달 어텐션 점수가 어떤 패치가 행동 예측에 가장 큰 영향을 미치는지 식별합니다.
5. Sparse masking – 전체 패치 중 상위 K개(예: 5 %–10 %)만 교란을 받을 수 있도록 제한합니다.
6. Optimization – 단일 단계(또는 소수 단계) 업데이트를 적용하고, $L_{\infty}=4/255$ 한계 내에서 클리핑합니다.

전체 파이프라인은 VLA 모델의 엔드‑투‑엔드 재학습 없이도 동작하므로 “플러그‑앤‑플레이” 공격이라고 할 수 있습니다.

Results & Findings

• 교란은 의미적으로 중요한 영역(예: 로봇이 상호작용해야 하는 객체) 위에 집중됩니다.
• $L_{\infty}=4/255$ 제약이 엄격함에도 불구하고, 하위 정책의 행동 로짓이 뒤바뀌어 VLA 파이프라인이 특징‑공간 노이즈에 매우 민감함을 보여줍니다.
• Ablation 연구를 통해 세 가지 전략(민감도 증폭, 희소성, 집중도)이 각각 공격 효능에 가산적으로 기여함을 확인했습니다.

Practical Implications

• 구현형 AI 보안 테스트 – 개발자는 ADVLA를 빠르고 저비용의 sanity check 로 활용해 VLA 파이프라인의 견고성을 배포 전에 평가할 수 있습니다.
• 방어 설계 – 특징 공간에서의 작고 희소한 교란만으로 시스템이 무너질 수 있다는 사실은 향후 방어가 픽셀 수준 이상으로 어텐션 가중 특징 안정성을 모니터링해야 함을 시사합니다.
• 자원 제한 환경 – ADVLA는 단일 GPU에서 밀리초 단위로 실행되므로 CI 파이프라인이나 디바이스 내 테스트 스위트에 쉽게 통합될 수 있습니다.
• 모델 설계자에게 주는 통찰 – 공격은 시각에서 언어로의 투영 레이어가 핵심 취약점임을 강조합니다. 해당 레이어에 확률성이나 정규화를 도입하면 회복력이 향상될 수 있습니다.

Limitations & Future Work

• 모델 범위 – 실험은 몇몇 인기 있는 VLA 아키텍처에 국한되었으며, 비디오‑언어‑행동 등 다른 멀티모달 설정에 대한 전이 가능성은 아직 검증되지 않았습니다.
• 물리적 세계 적용 가능성 – 교란이 희소하긴 하지만 여전히 디지털 형태이며, 이를 실제 스티커나 조명 변화로 구현하는 것은 아직 해결되지 않은 과제입니다.
• 방어 평가 – 논문은 공격을 제안하지만 기존 방어(예: 적대적 훈련, 특징 디노이징)와의 비교 평가를 수행하지 않았습니다.

향후 연구에서는 입력에 독립적인 보편적 특징‑공간 교란, 비디오 스트림에 대한 확장, 어텐션 기반 견고성 지표 개발 등을 탐구할 수 있습니다.

Authors

• Naifu Zhang
• Wei Tao
• Xi Xiao
• Qianpu Sun
• Yuxin Zheng
• Wentao Mo
• Peiqiang Wang
• Nan Zhang

Paper Information

• arXiv ID: 2511.21663v1
• Categories: cs.CV, cs.AI
• Published: November 26, 2025
• PDF: Download PDF