창의적인 프롬프트를 Gemini와 함께 인터랙티브 XR 경험으로 바꾸세요
Source: Google Developers Blog
Gemini 웹 앱에 Canvas를 출시하면서, Android XR 팀은 개발자와 일반 사용자 모두가 몰입형 컴퓨팅을 쉽게 활용할 수 있는 방법을 탐구하기 시작했습니다. Gemini는 특히 인터랙티브 3D 웹 그래픽을 생성하는 데 뛰어나, 다음과 같은 질문이 떠올랐습니다: Gemini의 3D 웹 작품을 확장 현실에서 체험할 수 있다면 어떨까요?
이를 테스트하기 위해 우리는 몰입형 생물학 시뮬레이션을 만들었습니다. Gemini는 먼저 혈구 간의 복잡한 상호작용을 모델링하고 이를 WebGL과 Three.js로 렌더링했습니다. 이 콘텐츠를 WebXR API를 통해 XR로 변환하면서 “Enter XR” 버튼을 추가해 사용자가 자동차 크기의 혈구를 세포 수준 이하로 탐험할 수 있게 했습니다. 그 결과 Gemini가 완전한 인터랙티브 XR 경험을 구축할 수 있음을 보여주었습니다.
Gemini로 3D 경험 만들기 시작하기
전통적으로 고품질 XR 개발은 다양한 기술이 필요하지만, Gemini는 창의적인 아이디어에서 바로 테스트 가능한 기능적인 경험으로 빠르게 전환할 수 있는 신속 프로토타이핑 워크플로우를 제공합니다.
사전 준비 사항
- Samsung Galaxy XR 헤드셋(또는 호환 기기)
- Gemini 3 Pro 접근 권한
1. XR Gem 설정하기
-
미리 제작된 XR Blocks Gem 또는 XR Blocks ultra‑prompt를 다운로드하여 Gemini에 현실적인 AR 물리 효과를 위한 고급 인식 기능을 부여합니다.
-
프롬프트를 Gemini 웹 인터페이스에서 새로운 Gem에 업로드하고 다음과 같은 설명을 추가합니다:
“당신은 뛰어난 미적 감각과 기술적 실행력을 갖춘 창의적이고 자원ful한 WebXR 개발자입니다.”
이 페르소나는 Gemini가 시각 장면을 해석하고 다듬어진 3D 텍스처를 생성하도록 돕습니다.
2. 경험 실행하기
- Galaxy XR에서 Chrome으로 Gemini를 엽니다.
- XR Gem과 새 채팅을 시작하고 Canvas를 선택합니다.
- 인터랙티브 요소를 구축합니다(예: 터치에 반응하는 민들레).
- Gemini에게 Gemini Live를 경험에 삽입하도록 요청해 직접 대화하거나, 몰입 세션을 떠나지 않고 계속 제작합니다.
3. 구축하고 반복하기
아이디어를 떠올리고 Gemini에게 구현을 요청합니다:
- “화산 환경을 만들어 주세요.”
- “그곳에 나비를 추가해 주세요.”
- 캐릭터에 배경 이야기와 행동 주체성을 부여합니다.
결과가 완벽하지 않다면 다시 시도하거나 간단한 아이디어를 겹쳐 복잡성을 높여 보세요. 작업이 끝나면 Gemini가 웹 링크를 생성해 누구와든 공유할 수 있습니다.
오늘 바로 시작할 수 있는 아이디어
시작용 프롬프트
- “3D로 무지개를 그리는 펜을 만들어 주세요.”
- “내가 만지면 터지는 거품을 여러 개 만들어 주세요.”
- “방 안을 몇 초 동안 날아다니다가 내 손에 착지하고, 손을 움직이면 다시 날아가는 종이접기 새를 만들어 주세요.”
고급 도전 과제
- 실제 별 데이터를 활용한 스마트 플라네타리움 만들기. 예: NASA의 exoplanets, Smithsonian의 star catalog, ESA의 3D 은하 지도.
- 좋아하는 80년대 아케이드 게임을 복제하고 고양이 테마로 스킨을 교체하기.
- 3D 낙서를 실감나는 조각품으로 변환하는 도구 개발하기.
멋진 것을 만들어 Canvas에 공유하면 다른 사람들이 체험하고 확장할 수 있습니다. Android XR용 실시간 예제는 XR Blocks demos에서 확인하고, 오늘 바로 시작하려면 위 단계에 따라 gemini.google.com을 방문하세요!