使用 Gemini 将创意提示转化为交互式 XR 体验
Source: Google Developers Blog
随着在 Gemini 网页应用中发布 Canvas，我们的 Android XR 团队开始探索如何让沉浸式计算对开发者和广大用户都变得易于使用。Gemini 在生成交互式 3D 网页图形方面表现尤为出色，这让我们产生了一个想法：如果你能够在扩展现实中体验 Gemini 的 3D 创作会怎样？
我们构建了一个沉浸式生物学模拟，Gemini 对血细胞之间的复杂交互进行建模，并使用 WebGL 和 Three.js 渲染它们。通过 WebXR API 将该内容转换为 XR，添加了一个 “Enter XR” 按钮，让用户能够在亚细胞尺度上探索汽车大小的血细胞。结果展示了 Gemini 创建完整、交互式 XR 体验的能力，并激发了能够让你比传统方法更快原型化复杂 3D 模型的工具。
使用 Gemini 开始构建 3D 体验
虽然高保真 XR 开发传统上需要广泛的技能组合，Gemini 提供了一种快速原型工作流，让你从创意火花直接进入可立即测试的功能性体验。要开始，你需要一副 Samsung Galaxy XR 头显以及对 Gemini 3 Pro 的访问权限。
-
设置你的 XR Gem – 从预构建的 XR Blocks Gem 开始，或通过下载 XR Blocks ultra‑prompt 来创建自己的 Gem，以赋予 Gemini 先进的感知能力，实现逼真的 AR 物理效果。将提示上传到 Gemini 网页界面中新建的 Gem，并添加类似 “你是一名富有创造力且资源丰富的 WebXR 开发者，拥有出色的审美品味和技术执行力” 的描述。这个角色设定帮助 Gemini 解析你的视觉场景并生成精致的 3D 纹理。
-
启动体验 – 在 Galaxy XR 上的 Chrome 中打开 Gemini，开启与 XR Gem 的新聊天，并选择 Canvas。现在你可以构建交互组件（例如，对触摸作出反应的蒲公英），甚至嵌入 Gemini Live，直接在沉浸式会话中与 Gemini 对话，而无需离开。
-
构建与迭代 – 想一个点子并让 Gemini 创建它。提示 “create a volcanic environment” 可立即更换你的环境，或 “add a butterfly there” 在特定位置放置对象。你可以为角色赋予背景故事和自主性。如果结果不够完美，重新尝试或将简单想法层叠组合以增加复杂度。完成后，你的作品会生成一个可分享的网页链接。
今日即可动手的创意示例
- “制作一支在 3D 中绘制彩虹的笔。”
- “制作一堆我触碰时会破裂的气泡。”
- “制作一只折纸鸟，在房间里飞行几秒，落在我的手上，并在我移动手时重复。”
高级挑战
- 使用真实星体数据创建智能天文馆，例如 NASA 的 exoplanets、史密森尼的 star catalog 或 ESA 的 3D map of the galaxy。
- 构建你最喜欢的 80 年代街机游戏的克隆版，并使用猫主题美学重新装饰。
- 开发一个工具，将你的 3D 涂鸦转换为逼真的雕塑。
创造出精彩作品并分享你的 Canvas，让其他人可以尝试并在此基础上继续构建。浏览 XR Blocks demos 以获取针对 Android XR 设计的实时示例，并前往 gemini.google.com 使用上述步骤立即开始！