[Paper] LLMAID: Android 앱에서 LLMs를 사용한 AI 기능 식별

Source: arXiv - 2511.19059v1

Overview

이 논문은 LLMAID라는 프레임워크를 소개한다. 이 프레임워크는 대형 언어 모델(LLM)을 활용해 Android 애플리케이션에 내재된 AI 기능을 자동으로 발견하고 분류한다. 노동 집약적인 수동 리뷰와 취약한 규칙 기반 스캐너를 넘어서는 접근을 통해 LLMAID는 AI 기반 모바일 앱의 가시성을 크게 확대한다—이는 개발자, 보안 분석가, 규제 기관 모두에게 중요한 통찰이다.

Key Contributions

• LLMAID 파이프라인: 후보 추출, 지식베이스 상호작용, AI 기능 분석, 서비스 요약의 네 단계 시스템으로, LLM 추론을 활용해 앱 바이너리에서 AI 구성 요소를 정확히 찾아낸다.
• 대규모 평가: 4,201개의 실제 Android 앱에 적용한 결과, LLMAID는 기존 최고의 규칙 기반 도구보다 242 % 더 많은 AI 적용 앱을 발견했다.
• 높은 정확도: AI 관련 라이브러리, 모델, 서비스를 탐지하는 데 90 % 이상의 정밀도와 재현율을 달성했다.
• 개발자 중심 요약: 간결한 AI 서비스 설명을 생성했으며, 사용자 연구에서 원래 앱 스토어 텍스트보다 더 유익하다고 평가받았다.
• 경관 분석: Android에서 AI 기능 분포에 대한 최초의 체계적 시각을 제공했으며, 컴퓨터 비전 작업이 전체의 약 55 %를 차지하고 객체 탐지가 주요 사용 사례(≈ 25 %)임을 강조한다.

Methodology

1. Candidate Extraction – 정적 분석을 통해 APK에서 AI 사용을 암시할 수 있는 단서(예: import된 패키지, 모델 파일, 네트워크 엔드포인트)를 스캔한다.
2. Knowledge‑Base Interaction – 추출된 단서는 LLM(예: GPT‑4)에 전달되어, 알려진 AI SDK, 클라우드 API, 모델 포맷 목록으로 구성된 정제된 AI‑서비스 지식베이스에 질의한다.
3. AI Capability Analysis & Detection – LLM은 결합된 증거를 기반으로 추론하여 각 후보를 실제 AI 구성 요소인지 혹은 오탐인지 분류하고, 기능 영역(비전, NLP, 음성 등)을 태그한다.
4. AI Service Summarization – 확인된 AI 기능마다 LLM이 짧고 인간이 읽기 쉬운 요약을 생성한다(예: “TensorFlow Lite를 사용해 소매 제품의 온‑디바이스 객체 탐지를 수행”).

이 파이프라인은 APK 하나만 입력하면 완전 자동으로 동작하며, 앱 스토어 전체에 걸쳐 대규모로 실행할 수 있다.

Results & Findings

• Coverage boost: LLMAID는 1,018개의 AI‑활성 앱을 식별했으며, 기존 규칙 기반 베이스라인이 찾은 300개에 비해 크게 앞선다.
• Precision/Recall: 두 지표 모두 **90 %**를 초과했으며, LLM 기반 추론이 폭넓은 탐지를 위해 신뢰성을 희생하지 않음을 확인한다.
• Developer feedback: 30명의 Android 개발자를 대상으로 한 연구에서, 87 %가 AI 기능 이해를 위해 원래 Play Store 설명보다 LLMAID가 생성한 요약을 선호했다.
• Capability distribution:
  • 컴퓨터 비전이 압도적으로 우세(AI 앱의 54.80 %).
  • 객체 탐지가 가장 흔한 작업(25.19 %).
  • 나머지 AI 분야(음성, 언어, 추천 등)는 각각 전체의 15 % 미만을 차지한다.

이 결과는 모바일 AI가 여전히 시각 중심이며, 카메라 기반 사용 사례에 의해 주도되고 있음을 시사한다.

Practical Implications

• App store vetting: 마켓플레이스는 LLMAID를 통합해 AI‑활성 앱을 자동으로 표시함으로써, 온‑디바이스와 클라우드 추론에 대한 개인정보 보호정책 등 준수 여부를 검증하는 데 도움을 줄 수 있다.
• Security & privacy audits: 보안 팀은 모델 추출, 적대적 입력 등 새로운 공격 표면을 도입할 수 있는 AI 라이브러리를 빠르게 찾아낼 수 있다.
• Developer tooling: IDE 플러그인은 코드 리뷰 시 LLMAID 요약을 표시해 엔지니어가 서드파티 AI 의존성 및 라이선스 영향을 이해하도록 돕는다.
• Competitive intelligence: 기업은 카테고리별 AI 도입 추세를 모니터링해 제품 로드맵을 설계할 수 있다(예: “소매 앱에서 객체 탐지가 뜨겁다”).
• Regulatory reporting: 자동 탐지는 “이 앱이 AI를 사용하는가?”라는 질문에 대한 답변 부담을 줄여, 신흥 AI 투명성 규제 준수를 지원한다.

Limitations & Future Work

• LLM dependence: 정확도는 기본 언어 모델의 지식에 좌우되며, 최신 AI SDK는 모델이 업데이트될 때까지 놓칠 수 있다.
• Static‑only analysis: 동적 로딩이나 난독화된 코드는 탐지를 회피할 수 있다; LLMAID와 런타임 모니터링을 결합하는 것이 유망한 방향이다.
• Knowledge‑base freshness: AI 서비스와 모델 포맷의 최신 레포지토리를 유지하는 것은 비단순한 작업이며 커뮤니티의 지속적인 참여가 필요하다.
• Cross‑platform extension: 현재 구현은 Android에 국한되며, iOS나 Flutter, React Native와 같은 크로스‑플랫폼 프레임워크로 확장하는 작업은 아직 남아 있다.

전반적으로 LLMAID는 LLM이 대규모 소프트웨어 인텔리전스 작업의 강력한 보조자가 될 수 있음을 보여주며, 모바일 플랫폼에서 보다 투명하고 안전한 AI 생태계 구축의 길을 열어준다.

Authors

• Pei Liu
• Terry Zhuo
• Jiawei Deng
• Thong James
• Shidong Pan
• Sherry Xu
• Zhenchang Xing
• Qinghua Lu
• Xiaoning Du
• Hongyu Zhang

Paper Information

• arXiv ID: 2511.19059v1
• Categories: cs.SE
• Published: November 24, 2025
• PDF: Download PDF