[Paper] UI-Zoomer: 불확실성 기반 적응형 확대를 통한 GUI 그라운딩

Source: arXiv - 2604.14113v1

Overview

GUI grounding—자동으로 자연어 명령에서 스크린샷의 UI 요소를 찾는 작업—은 음성 비서, 자동 테스트, 접근성 도구의 핵심 기능이 되었습니다. 새로운 UI‑Zoomer 프레임워크는 모델을 재학습하지 않고도 화면에서 모델이 불확실해 하는 부분을 “확대”함으로써 grounding 정확도를 크게 향상시킬 수 있음을 보여줍니다.

주요 기여

• 불확실성 기반 줌 트리거: 신뢰도 인식 게이트가 이미지 자르고 재처리할 시점을 결정하여 쉬운 경우에 불필요한 연산을 방지합니다.
• 적응형 크롭 크기 조정: 분산 기반 공식(전체 분산 법칙)을 사용해 인스턴스별 크롭 반경을 계산하고, 각 UI 요소의 예측된 분포에 맞춰 줌 레벨을 맞춥니다.
• 학습 없이 통합: 기존 GUI 그라운딩 모델(예: LayoutLM 기반, Vision‑Language Transformers) 위에 플러그인 형태로 동작하며 추가 데이터나 파인튜닝이 필요 없습니다.
• 폭넓은 실증적 향상: 세 개의 벤치마크 데이터셋(ScreenSpot‑Pro, UI‑Vision, ScreenSpot‑v2)에서 절대 정확도를 최대 **+13.4 %**까지 향상시키며, 다양한 모델 백본에서 일관된 성능을 보입니다.
• 효율적인 추론: 게이트가 낮은 불확실성 사례를 걸러내어 추가 크롭 단계가 입력의 일부만에 적용되므로 지연 시간이 크게 늘어나지 않습니다.

방법론

1. Base grounding pass – 원본 모델은 전체 화면 스크린샷을 처리하고, 질의된 UI 요소에 대한 경계 상자를 토큰 수준 생성 점수와 함께 출력합니다.
2. Uncertainty estimation –
   • Spatial consensus: 여러 개의 확률적 예측(예: 드롭아웃이나 테스트 시 증강 사용)을 생성하고, 예측된 상자들의 변동 정도를 측정합니다.
   • Token confidence: 생성된 설명 토큰들의 언어 모델 확률을 집계합니다.
3. Confidence‑aware gate – 공간적 분산과 토큰 신뢰도를 하나의 “불확실성 점수”로 결합합니다. 점수가 사전 설정된 임계값을 초과하면 시스템은 예측이 신뢰할 수 없다고 판단하고 확대(zoom‑in)를 트리거합니다.
4. Adaptive crop sizing – 전체 분산을 다음과 같이 분해합니다:
   • Inter‑sample positional spread (확률적 상자들이 얼마나 퍼지는지)
   • Intra‑sample box extent (각 개별 상자의 크기)
     전체 분산 법칙을 이용해 UI‑Zoomer는 실제 요소를 포착할 만큼 충분히 크면서도 이미지 해상도를 유지할 수 있을 만큼 작은 크롭 반경을 계산합니다.
5. Second‑pass inference – 크롭된 고해상도 패치를 동일한 그라운딩 모델에 다시 입력합니다. 최종 출력은 두 번째 패스에서 얻어진 정제된 경계 상자입니다.

전체 파이프라인이 원본 모델을 그대로 재사용하기 때문에, UI‑Zoomer는 몇 줄의 코드만으로 기존 GUI‑grounding 서비스에 손쉽게 통합될 수 있습니다.

결과 및 발견

• 이득은 transformer‑기반, CNN‑기반, 그리고 하이브리드 비전‑언어 백본 전반에 일관적으로 나타납니다.
• confidence gate는 대략 **18‑25 %**의 쿼리에 대해 줌‑인을 활성화하므로, 추가 연산은 가장 어려운 경우에만 제한됩니다.
• Ablation 연구 결과, 불확실성 게이팅과 적응형 크롭 크기 조정 두 구성 요소가 모두 필요함을 보여줍니다; 고정 크롭 크기를 사용하거나 항상 줌‑인하면 성능이 떨어지고 지연 시간이 증가합니다.

실용적 함의

• 음성 제어 어시스턴트(예: “설정 아이콘을 탭”)는 아이콘이 작고 화면이 밀집된 모바일 화면에서 더 신뢰할 수 있게 됩니다.
• 자동 UI 테스트 프레임워크는 비전 모델을 재학습할 필요 없이 요소를 더 높은 정밀도로 찾을 수 있어 불안정한 테스트 실패를 줄입니다.
• 화면 읽기 프로그램을 위한 접근성 도구는 특히 복잡한 대시보드에서 시각 장애 사용자를 위한 더 나은 기반을 제공합니다.
• 개발자 도구: UI‑Zoomer는 기존 GUI‑grounding API에 대한 가벼운 미들웨어 레이어로 패키징될 수 있어 데이터 수집이나 모델 미세조정 비용 없이 빠른 성능 향상을 제공합니다.
• 비용 효율적인 확장: 이 방법은 학습이 필요 없으므로 팀은 여러 제품과 플랫폼에 즉시 적용할 수 있으며, 불확실한 경우에만 약간의 추론 비용을 지불합니다.

제한 사항 및 향후 작업

• 임계값 민감도 – 신뢰도 게이트는 수동으로 설정된 불확실성 임계값에 의존합니다; 최적이 아닌 값은 계산을 낭비(너무 낮음)하거나 개선을 놓칠 수 있습니다(너무 높음). 적응형 임계값 학습을 통해 자동화할 수 있습니다.
• 극단적인 혼잡 상황 – UI 요소가 많이 겹쳐 있을 때, 고해상도 크롭이라도 모호성을 해소하지 못할 수 있습니다; 레이아웃 사전 지식이나 계층적 파싱을 통합하면 도움이 될 수 있습니다.
• 저전력 디바이스에서의 지연 – 추가 패스가 선택적으로 호출되지만, GPU/CPU 자원이 제한된 디바이스에서는 추가 추론이 여전히 눈에 띌 수 있습니다; 모델별 최적화(예: 양자화)를 탐색할 가치가 있습니다.
• 스크린샷 외 일반화 – 현재 실험은 정적 스크린샷에 초점을 맞추고 있습니다; UI‑Zoomer를 비디오 스트림이나 AR 오버레이에 확장하려면 시간적 일관성을 처리해야 합니다.

전반적으로 UI‑Zoomer는 스마트하고 불확실성 인식 테스트 시 증강이 모델 재학습이라는 무거운 엔지니어링 오버헤드 없이 GUI 그라운딩에서 상당한 정확도 향상을 가능하게 함을 보여줍니다—다음 세대 지능형 인터페이스를 구축하는 개발자에게 매력적인 제안입니다.

저자

• Fei Tang
• Bofan Chen
• Zhengxi Lu
• Tongbo Chen
• Songqin Nong
• Tao Jiang
• Wenhao Xu
• Weiming Lu
• Jun Xiao
• Yueting Zhuang
• Yongliang Shen

논문 정보

• arXiv ID: 2604.14113v1
• 분류: cs.CV, cs.AI, cs.CL
• 발행일: 2026년 4월 15일
• PDF: PDF 다운로드