[Paper] 다중모달 강인 프롬프트 증류 for 3D 포인트 클라우드 모델

Source: arXiv - 2511.21574v1

Overview

대립 공격은 3‑D 포인트 클라우드를 처리하는 딥 뉴럴 네트워크를 쉽게 속일 수 있어, 자율 주행 차량 및 로봇과 같은 안전‑중요 시스템에 위협이 됩니다. 논문 Multimodal Robust Prompt Distillation for 3D Point Cloud Models 은 “프롬프트”를 작은 학생 모델에 삽입하여, 2‑D 깊이‑이미지 비전 모델, 고용량 3‑D 포인트‑클라우드 네트워크, 텍스트 인코더라는 세 가지 보완적인 교사로부터 추출된 강인한 특징을 모방하도록 가르치는 경량 교사‑학생 프레임워크(MRPD)를 제안합니다. 증류는 훈련 중에만 이루어지므로, 최종 모델은 추가 런타임 비용이 전혀 없으며, 화이트‑박스 및 블랙‑박스 공격에 대한 저항성을 크게 향상시키면서 깨끗한 데이터에 대한 정확도도 유지(또는 향상)됩니다.

Key Contributions

• 멀티모달 교사 앙상블 – (i) 깊이‑투영 CNN, (ii) 최신 3‑D 포인트‑클라우드 백본, (iii) 언어 모델의 임베딩과 학생 특징을 정렬하여 보완적인 기하학적·시맨틱 단서를 활용합니다.
• 프롬프트 기반 학생 아키텍처 – 점군 입력 앞에 학습 가능한 “프롬프트 토큰”을 추가함으로써, 핵심 네트워크를 확장하지 않고도 학생이 강인한 지식을 흡수하도록 합니다.
• 신뢰도 게이트 증류 – 각 샘플에 대해 교사의 신뢰도에 따라 기여도를 동적으로 가중하여, 잡음이 있거나 오해를 일으킬 수 있는 신호가 학습을 해치지 않게 합니다.
• 추론 시 제로 오버헤드 – 모든 멀티모달 처리는 훈련 단계에만 국한되며, 테스트 시 학생은 일반적인 포인트‑클라우드 모델과 동일하게 동작합니다.
• 강력한 실증적 향상 – 화이트‑박스(PGD, C&W 등)와 블랙‑박스(전이 공격, 쿼리 기반 방법 등) 공격에 대한 기존 최고의 방어 기법을 능가하면서, 깨끗한 벤치마크(ModelNet40, ScanObjectNN)에서 더 높은 정확도를 달성합니다.

Methodology

1. 교사 설정

   • 비전 교사: 원시 포인트 클라우드를 깊이 이미지로 투영하고, 사전 학습된 ResNet‑계열 CNN에 입력합니다.
   • 3‑D 교사: 동일한 분류 작업에 대해 고용량 포인트‑클라우드 네트워크(예: PointNet++ 또는 DGCNN)를 사용합니다.
   • 텍스트 교사: 객체 클래스에 대한 텍스트 설명(예: “chair”, “airplane”)을 고정된 언어 모델(BERT/CLIP 텍스트 인코더)으로 인코딩합니다.

2. 프롬프트 토큰을 가진 학생

   • 학생은 경량 포인트‑클라우드 백본(예: PointNet)입니다.
   • 소수의 학습 가능한 프롬프트 벡터를 포인트‑클라우드 토큰 시퀀스 앞에 연결하여 첫 번째 Transformer/MLP 레이어에 입력합니다. 이 프롬프트는 외부 지식을 흡수할 수 있는 “어댑터” 역할을 합니다.

3. 증류 손실

   • 각 훈련 샘플에 대해 학생의 중간 특징 맵을 각 교사의 임베딩과 코사인 유사도 손실을 통해 정렬합니다.
   • 신뢰도 게이트는 현재 샘플에 대한 교사의 softmax 신뢰도를 기반으로 가중치를 계산합니다; 신뢰도가 높을수록 가중치가 커집니다.
   • 전체 손실 = 분류 손실(교차 엔트로피) + Σ wᵢ · distillationᵢ, 여기서 i는 세 교사를 의미합니다.

4. 훈련 절차

   • 교사는 고정하고, 학생 네트워크와 프롬프트 토큰만 업데이트합니다.
   • 포인트 클라우드에 대한 표준 데이터 증강( jitter, random scaling)과 함께, 선택적으로 적대적 교란을 적용해 학생을 더욱 견고하게 만듭니다.

5. 추론

   • 학습된 학생은 원시 포인트 클라우드를 받아 일반 모델과 동일하게 처리합니다; 프롬프트 토큰은 이제 고정된 파라미터의 일부가 됩니다.

Results & Findings

• 강인성 향상: MRPD는 이전 최고의 방어(예: 적대적 학습, 포인트‑클라우드 스무딩) 대비 공격 저항성을 10–15 % 꾸준히 끌어올립니다.
• 클린 데이터 향상: 멀티모달 프롬프트가 정규화 역할을 하여, 교란되지 않은 입력에서도 약간의 정확도 상승을 제공합니다.
• 효율성: 추론 지연 시간은 베이스라인 학생과 동일하게 유지됩니다(≈1.2 ms per 1024‑point cloud on a RTX 3080), 훈련 오버헤드는 약 1.3배 수준에 그칩니다.

Ablation 연구를 통해 각 교사가 고유하게 기여함을 확인했으며, 어느 하나를 제거하면 강인성이 3–5 % 감소합니다. 신뢰도 게이트 가중은 특히 텍스트 교사의 신뢰도가 낮은 모호한 클래스에서 학습을 안정화시킵니다.

Practical Implications

• 플러그‑앤‑플레이 강인성: 기존 경량 포인트‑클라우드 모델에 MRPD 프롬프트 모듈을 붙이고 자체 데이터로 재훈련하면, 아키텍처를 재설계하지 않고도 강화된 버전을 얻을 수 있습니다.
• 런타임 비용 제로: 멀티모달 교사는 훈련 시에만 필요하므로, 엣지 로봇이나 AR/VR 헤드셋 같은 프로덕션 시스템은 기존 연산 예산을 그대로 유지합니다.
• 크로스‑모달 지식 전달: 텍스트 의미와 2‑D 깊이 단서가 순수 3‑D 모델에 증류될 수 있음을 보여, 대규모 사전 학습된 비전‑언어 기반(CLIP, Flamingo 등)을 포인트‑클라우드 파이프라인에 활용할 새로운 길을 엽니다.
• 보안‑중요 배포: 자율 주행 스택, 물류 자동화, 검사 드론 등은 지연을 희생하지 않으면서 더 공격‑저항적인 인식 레이어의 혜택을 받을 수 있습니다.
• 툴링 가능성: 이 방법을 PyTorch Lightning 모듈 형태로 패키징하면, 인기 체크포인트로부터 세 교사를 자동으로 구축해 강인한 훈련을 깊은 적대적 ML 전문 지식 없이도 팀이 손쉽게 활용할 수 있습니다.

Limitations & Future Work

• 교사 의존성: 강인성 향상은 고정된 교사의 품질에 좌우됩니다; 교사 자체가 취약하면 학생도 그 약점을 물려받을 수 있습니다.
• 훈련 비용: 추론은 변하지 않지만, 멀티모달 증류는 GPU 메모리를 약 30 % 추가하고 훈련 시간을 다소 늘려, 매우 큰 데이터셋에서는 부담이 될 수 있습니다.
• 공격 범위: 평가에서는 일반적인 그래디언트 기반 및 전이 공격에 초점을 맞췄으며, 프롬프트 토큰을 직접 겨냥한 적응형 공격은 다루지 않았습니다.
• 다른 작업으로의 일반화: 논문은 분류에 집중했으며, 세분화, 탐지, 정합 등으로 MRPD를 확장하는 것은 아직 미해결 과제입니다.

향후 연구 방향은 다음과 같습니다: (1) 라벨이 없는 데이터를 활용하기 위해 자체‑지도 멀티모달 교사를 도입, (2) 훈련 시 악의적 입력을 탐지할 수 있는 적대적‑인식 신뢰도 게이트 설계, (3) 센서 노이즈와 도메인 쉬프트가 흔한 실제 로봇 파이프라인에서 MRPD를 평가.

Authors

• Xiang Gu
• Liming Lu
• Xu Zheng
• Anan Du
• Yongbin Zhou
• Shuchao Pang

Paper Information

• arXiv ID: 2511.21574v1
• Categories: cs.CV, cs.AI
• Published: November 26, 2025
• PDF: Download PDF