창의적인 프롬프트를 Gemini와 함께 인터랙티브 XR 경험으로 전환하세요
Source: Google Developers Blog
Gemini 웹 앱에 Canvas가 출시되면서, Android XR 팀은 개발자와 일반 사용자 모두가 몰입형 컴퓨팅을 쉽게 활용할 수 있는 방법을 탐구하기 시작했습니다. Gemini는 특히 인터랙티브 3D 웹 그래픽을 생성하는 데 뛰어난 능력을 보여주었으며, 여기서 다음과 같은 질문이 떠올랐습니다: Gemini의 3D 웹 작품을 확장 현실(XR)에서 체험할 수 있다면 어떨까요?
이를 테스트하기 위해 우리는 몰입형 생물학 시뮬레이션을 만들었습니다. Gemini는 먼저 혈구 간의 복잡한 상호작용을 모델링하고 이를 WebGL 및 Three.js를 사용해 시각적으로 렌더링했습니다. 그런 다음 해당 콘텐츠를 WebXR API로 XR로 변환하자 화면에 Enter XR 버튼이 나타났습니다. 세포 크기보다 작은 규모에서 자동차만한 크기의 혈구를 탐험하면서 Gemini가 완전한 인터랙티브 XR 경험을 구축할 수 있음을 보여주었습니다.
이 경험을 바탕으로 전통적인 방법보다 훨씬 빠르게 복잡한 3D 프로토타입과 인터랙티브 모델을 만들 수 있는 도구들이 개발되었습니다. 아래 가이드를 따라 직접 시도해보고 아이디어를 손쉽게 기능적인 3D 경험으로 전환해 보세요.
Gemini으로 3D 경험 만들기 시작하기
고품질 XR 개발은 보통 다양한 기술이 필요하지만, Gemini은 실시간으로 인터랙티브한 3D 개념을 빠르게 프로토타이핑하고 탐색할 수 있는 새로운 방식을 제공합니다. 이 접근법을 통해 창의적인 아이디어에서 바로 테스트 가능한 기능적인 경험으로 빠르게 전환할 수 있습니다. 인터랙티브 환경을 직접 만들려면 Samsung Galaxy XR 헤드셋과 Gemini 3 Pro에 대한 접근 권한이 필요합니다.
XR Gem 설정하기
- 미리 만들어진 XR Blocks Gem 또는 XR Blocks ultra‑prompt를 다운로드하여 Gemini에 현실적인 AR 물리 효과를 위한 고급 인식 기능을 부여한 뒤, 직접 버전을 만들 수 있습니다.
- 프롬프트를 Gemini 웹 인터페이스에서 새로운 Gem에 업로드하고 다음과 같은 설명을 추가하세요:
“당신은 뛰어난 미적 감각과 기술적 실행력을 갖춘 창의적이고 자원ful한 WebXR 개발자입니다.”
- 이 페르소나는 Gemini이 시각 장면을 해석하고 이미지 생성 도구를 사용해 정교한 3D 텍스처를 만들도록 도와줍니다.
경험 실행하기
- Galaxy XR에서 Chrome으로 Gemini을 엽니다.
- XR Gem과 새 채팅을 시작하고 Canvas를 선택합니다.
- 인터랙티브 컴포넌트를 구축합니다(예: 터치에 반응하는 민들레).
- Gemini에게 Gemini Live를 경험 안에 삽입하도록 프롬프트하여, 몰입형 세션을 떠나지 않고도 Gemini과 직접 대화하거나 계속해서 제작할 수 있게 합니다.
만들고 반복하기
- 아이디어를 생각하고 Gemini에게 구현을 요청합니다.
- 예시: “화산 환경을 만들어줘” – 즉시 주변이 화산 풍경으로 바뀝니다.
- 예시: “거기에 나비를 추가해줘” – 특정 객체가 배치됩니다.
- 캐릭터에게 배경 이야기와 행동 주체성을 부여할 수 있습니다.
- 결과가 완벽하지 않다면 다시 시도하거나 간단한 아이디어를 겹쳐 복잡성을 추가하세요.
- 작업이 끝나면 당신의 창작물은 누구와도 공유할 수 있는 웹 링크가 됩니다.
오늘 바로 만들 수 있는 아이디어
시작 프롬프트
- “3D로 무지개를 그리는 펜을 만들어 주세요.”
- “내가 만지면 터지는 거품을 여러 개 만들어 주세요.”
- “몇 초 동안 방 안을 날다 손에 착지하는 종이접기 새를 만들어 주세요. 손을 움직이면 날아가 다시 반복합니다.”
고급 도전 과제
- NASA 외계 행성, Smithsonian 별 카탈로그, ESA의 은하 3D 지도와 같은 실제 별 데이터를 활용한 스마트 플라네타리움을 만들기.
- 좋아하는 80년대 아케이드 게임을 복제하고 고양이 테마로 스킨을 바꾸기.
- 3D 낙서를 실물 같은 조각품으로 변환하는 도구 개발하기.
멋진 작품을 만들고 Canvas를 공유해 다른 사람들도 시도하고 확장할 수 있게 하세요. Android XR용으로 설계된 실시간 예시를 보려면 XR Blocks 데모를 살펴보고, 오늘 바로 시작하려면 위 단계에 따라 gemini.google.com으로 이동하세요.