새로운 Android 17 트릭으로 휴대폰에서 ChatGPT의 화면 공유가 훨씬 부드러워질 수 있습니다

Source: Android Authority

TL;DR

• OpenAI는 Android에서 ChatGPT가 화면을 볼 수 있게 하는 보다 효율적인 방법을 테스트하고 있습니다.
• Android 17의 새로운 Bubbles 기능과 접근성(Accessibility) 옵션을 활용해 화면에 표시된 내용을 확인할 수 있습니다.
• 현재 캐스팅을 이용한 화면 공유 방식에 비해 시스템 리소스를 더 효율적으로 사용할 수 있습니다.

The challenge for AI chatbots

다음 큰 과제는 Gemini와 ChatGPT를 포함한 모든 AI 챗봇이 세부 정보를 공유하도록 요구하거나 개입 없이 작업을 수행할 수 있는 진정한 보조자가 되는 것입니다 [source]. 이를 원활히 구현하려면 챗봇이 화면에 무엇이 표시되는지 볼 수 있어야 하는데, 현재 방식은 휴대폰 하드웨어에 부담을 줄 수 있습니다.

How ChatGPT currently shares the screen

Android용 ChatGPT는 현재 MediaProjection API [ref]를 사용합니다. 이 API는 화면 녹화와 캐스팅에 사용되는 동일한 API입니다. 이 접근 방식에는 몇 가지 단점이 있습니다:

• 여러 권한 대화 상자와 경고 팝업이 작업 흐름을 방해합니다.
• 지속적인 화면 녹화로 인해 높은 리소스 사용량과 성능 저하가 발생합니다.

A potential new method

ChatGPT Android 앱 1.2026.118 버전의 APK 해체 결과, OpenAI가 다른 접근 방식을 실험하고 있음이 밝혀졌습니다:

• Android의 Accessibility 설정을 활용합니다.
• Android 17의 Bubbles 멀티태스킹 기능을 사용합니다 [details].

Workflow changes

1. First‑time setup – 사용자는 Android 접근성 설정에서 “ChatGPT screen help”를 활성화하도록 요청받습니다.
2. Additional permissions – 앱에 대한 알림 및 대화 버블을 활성화해야 하며, 이를 통해 앱이 강제 종료되는 것을 방지합니다.
3. Bubble interaction – 화면에 지속적인 대화 버블이 표시됩니다. 버블을 탭하면 현재 화면 내용에 대해 ChatGPT에 특정 질문을 할 수 있습니다. AI는 이전 채팅 컨텍스트를 무시하고 오직 현재 화면에 보이는 것에만 집중합니다.

Benefits and concerns

• Resource efficiency – MediaProjection을 우회함으로써 CPU/GPU 부하와 배터리 소모를 줄일 수 있습니다.
• Privacy considerations – 접근성 권한을 AI에게 부여하는 것은 UI 요소와 텍스트에 대한 깊은 통찰을 제공하므로 정당한 우려가 있습니다. OpenAI가 이러한 우려를 어떻게 처리할지는 아직 공개되지 않았습니다.

⚠️ APK teardown는 진행 중인 코드를 기반으로 향후 기능을 예측할 수 있지만, 해당 기능이 실제 공개될 것이라는 보장은 없습니다.

전체 기사를 읽어 더 많은 맥락을 확인하고 업데이트를 기대해 주세요.