[Paper] AnchorOPT: 동적 앵커 최적화를 위한 적응형 프롬프트 학습

Source: arXiv

AnchorOPT: 동적 앵커 최적화를 통한 적응형 프롬프트 학습

Abstract

기존의 CLIP 기반 프롬프트 학습 방법은 텍스트 토큰을 앵커로 활용해 학습 가능한 소프트 토큰을 안내하고, CLIP의 일반화를 향상시킵니다. 그러나 이러한 앵커는 값과 위치 모두에서 정적이며, 작업 간·단계 간 적응성이 부족합니다. 이 한계를 극복하기 위해 AnchorOPT라는 동적 앵커 기반 프롬프트 학습 프레임워크를 제안합니다. AnchorOPT는 두 가지 핵심 차원에서 동적성을 도입합니다:

1. 앵커 값은 “shape”, “color”와 같은 수작업 텍스트 토큰을 배제하고, 작업별 데이터에서 동적으로 학습됩니다.
2. 앵커와 소프트 토큰 사이의 위치 관계는 고정되지 않고, 학습 단계와 작업 컨텍스트에 따라 조건화된 학습 가능한 위치 행렬을 통해 적응적으로 최적화됩니다.

Training Procedure

AnchorOPT는 두 단계로 학습됩니다:

• Stage 1: 앵커 토큰을 학습합니다.
• Stage 2: 앵커를 고정하고, 이를 활용해 소프트 토큰과 위치 행렬을 최적화합니다.

Experiments

광범위한 실험 결과, 단순한 학습 가능한 앵커와 위치 행렬만 사용해도 추가적인 학습 모듈이나 정규화 기법을 포함한 기존 방법과 동등하거나 그 이상의 성능을 달성함을 보여줍니다. 플러그‑앤‑플레이 모듈로서 AnchorOPT는 기존 프레임워크에 원활히 통합되어 다양한 데이터셋에서 일관된 성능 향상을 제공합니다.

Resources

• Code: https://github.com/zhengli97/ATPrompt
• PDF: https://arxiv.org/pdf/2511.21188v1

Submitted to arXiv on 26 Nov 2025 (v1).