창의적인 프롬프트를 Gemini와 함께 인터랙티브 XR 경험으로 전환하세요

Source: Google Developers Blog

Gemini 웹 앱에 Canvas를 출시하면서, Android XR 팀은 개발자와 일반 사용자가 몰입형 컴퓨팅을 쉽게 활용할 수 있는 방법을 탐구하기 시작했습니다. Gemini는 특히 인터랙티브 3D 웹 그래픽을 생성하는 데 뛰어나서, “Gemini의 3D 작품을 확장 현실에서 체험한다면 어떨까?”라는 질문이 떠올랐습니다.

우리는 Gemini가 혈구 사이의 복잡한 상호작용을 모델링하고 이를 WebGL과 Three.js로 렌더링하는 몰입형 생물학 시뮬레이션을 만들었습니다. 이 콘텐츠를 WebXR API를 통해 XR로 변환하면서 “Enter XR” 버튼을 추가해 사용자가 세포 수준 이하의 크기로 자동차만한 혈구를 탐험할 수 있게 했습니다. 이 결과는 Gemini가 완전한 인터랙티브 XR 경험을 만들 수 있음을 보여주었으며, 기존 방식보다 훨씬 빠르게 복잡한 3D 모델을 프로토타이핑할 수 있는 도구에 영감을 주었습니다.

Gemini로 3D 경험 만들기 시작하기

전통적인 고품질 XR 개발은 폭넓은 기술이 필요하지만, Gemini는 창의적인 아이디어를 즉시 테스트할 수 있는 기능적인 경험으로 빠르게 전환해 주는 프로토타이핑 워크플로우를 제공합니다. 시작하려면 Samsung Galaxy XR 헤드셋과 Gemini 3 Pro에 대한 접근 권한이 필요합니다.

1. XR Gem 설정 – 미리 만들어진 XR Blocks Gem을 시작점으로 사용하거나, XR Blocks ultra‑prompt를 다운로드해 Gemini에 현실적인 AR 물리 엔진을 위한 고급 인식 기능을 부여하세요. 프롬프트를 Gemini 웹 인터페이스에서 새 Gem에 업로드하고 “당신은 뛰어난 미적 감각과 기술 구현 능력을 가진 창의적이고 자원ful한 WebXR 개발자입니다.”와 같은 설명을 추가합니다. 이 페르소나는 Gemini가 시각 장면을 해석하고 정교한 3D 텍스처를 생성하도록 돕습니다.

2. 경험 실행 – Galaxy XR에서 Chrome으로 Gemini를 열고, XR Gem과 새 채팅을 시작한 뒤 Canvas를 선택합니다. 이제 인터랙티브 컴포넌트(예: 터치에 반응하는 민들레) 를 만들 수 있고, Gemini Live를 삽입해 몰입 세션을 떠나지 않고도 직접 Gemini와 대화할 수 있습니다.

3. 구축 및 반복 – 아이디어를 생각하고 Gemini에게 만들어 달라고 요청하세요. “화산 환경을 만들어줘”라고 프롬프트하면 주변이 즉시 바뀌고, “거기에 나비를 추가해줘”라고 하면 특정 객체를 배치할 수 있습니다. 캐릭터에 배경 이야기와 행동 주체성을 부여할 수도 있습니다. 결과가 완벽하지 않다면 다시 시도하거나 간단한 아이디어를 겹쳐 복잡성을 더하세요. 완료되면 만든 작품은 공유 가능한 웹 링크가 됩니다.

오늘 바로 만들 수 있는 아이디어

• “3D로 무지개를 그리는 펜을 만들어줘.”
• “내가 터치하면 터지는 거품을 여러 개 만들어줘.”
• “방 안을 몇 초 동안 날아다니다가 내 손에 착지하고, 손을 움직이면 다시 날아다니는 종이접기 새를 만들어줘.”

고급 도전 과제

• NASA exoplanets, Smithsonian star catalog, ESA의 3D 은하 지도 등 실제 별 데이터를 활용한 스마트 플라네타리움을 만들기.
• 좋아하는 80년대 아케이드 게임을 복제하고 고양이 테마 디자인으로 스킨을 교체하기.
• 3D 낙서를 실감나는 조각품으로 변환하는 도구 개발하기.

멋진 작품을 만들고 Canvas를 공유해 다른 사람들도 체험하고 확장할 수 있게 하세요. Android XR용 실시간 예시가 포함된 XR Blocks demos를 살펴보고, 위 단계에 따라 오늘 바로 gemini.google.com에서 시작해 보세요!