[Paper] SketchPlay：使用手势驱动草图绘制直观创建物理真实感 VR 内容

Source: arXiv - 2512.22016v1

概述

SketchPlay 引入了一种 VR 交互框架，使用户能够在空中“绘制” 3D 场景，并即时将这些草图转化为物理上逼真的模拟。通过将简单的空中轮廓绘制与富有表现力的手势相结合，该系统弥合了创意构思与复杂基于物理的内容创作之间的鸿沟，使得 VR 创作对开发者、设计师和教育者都变得易于使用，即使他们没有深厚的建模专业知识。

关键贡献

• 基于手势的草图绘制管线，将 2‑D 空中草图映射到 3‑D 对象几何和空间布局。
• 通过手势（速度、方向、力度）进行物理线索编码，自动驱动刚体、弹性体和布料动力学。
• 统一的创作界面，在单一直观的 VR 工作流中结合结构（形状）和动态（行为）输入。
• 定量用户研究显示，与基于文本的 VR 内容创作工具相比，具有更高的表现力和满意度。
• 开源原型（Unity + Oculus Quest），已发布供社区扩展并集成到现有 VR 管线中。

方法论

1. Air Sketch Capture – 系统跟踪用户控制器的轨迹，以生成投射到虚拟平面上的折线，然后利用深度线索（例如与用户头部的距离）将其提升到三维空间。
2. Shape Inference – 一个轻量级神经网络（在合成的草图 ↔ 三维基元数据集上训练）预测底层几何形状（盒子、圆柱、布料等），并根据草图的拓扑结构进行放置。
3. Gesture Extraction – 在绘制草图时，用户会执行次要手势（滑动、轻弹、挤压）。系统提取手势向量（方向、速度、压力），并映射到物理参数：初始速度、冲击大小、材料刚度等。
4. Physics Integration – 推断出的对象在 Unity 的 PhysX 引擎（或用于软体的 Nvidia Flex）中实例化。提取的参数直接输入到仿真中，产生即时且逼真的运动。
5. Iterative Refinement – 用户可以编辑草图或重放手势，系统实时更新仿真，实现“播放‑微调”循环。

结果与发现

• 表达性: 参与者生成的不同物理场景数量是基线文本指令系统的 2.8 倍（例如，弹跳的球、飘扬的旗帜、倒塌的结构）。
• 创建速度: 生成功能场景的平均时间从传统工具的 4.2 分钟降至 SketchPlay 的 1.1 分钟。
• 用户满意度: SUS（系统可用性量表）得分平均为 86/100，表明用户感受到的易用性和乐趣很高。
• 物理精度: 模拟动力学在速度和变形方面的误差在 5 % 以内，匹配真实物理基准，证实手势衍生的参数对大多数交互式应用足够真实。

实际意义

• 快速原型：游戏开发者可以快速绘制关卡元素，并立即测试物理交互，无需编写代码或导入资产，从而加快迭代周期。
• 教育与培训：教师可以通过让学生绘制情景并即时呈现，演示物理概念（如抛体运动、弹性），促进体验式学习。
• 创意叙事：艺术家和叙事设计师能够现场创作沉浸式、基于物理的场景，实现观众手势塑造环境的动态叙事。
• 跨平台集成：由于该工作流依赖标准 VR SDK 和开源推理模型，可嵌入现有的 Unity 或 Unreal 项目，扩展低代码 VR 创作工具的适用范围。

限制与未来工作

• 形状多样性： 当前推理仅覆盖有限的原始几何体；复杂的有机形状仍需手动建模。
• 手势歧义： 重叠的手势（例如快速滑动与轻弹）可能导致物理参数被误解，需要更稳健的消歧或多模态线索（语音、触觉）。
• 可扩展性： 大量软体的实时仿真会给移动 VR 硬件带来压力；未来工作将探索自适应 LOD 与 GPU 加速求解器。
• 用户研究范围： 评估仅涉及相对较小、技术熟练的受试者群体；对新手和领域专家进行更广泛的研究将有助于验证通用性。

SketchPlay 指向了一个未来：VR 内容创作如同在白板上绘画般自然——为更广泛的受众打开构建物理丰富虚拟世界的大门。

作者

• Xiangwen Zhang
• Xiaowei Dai
• Runnan Chen
• Xiaoming Chen
• Zeke Zexi Hu

论文信息

• arXiv ID: 2512.22016v1
• 分类: cs.HC, cs.CV
• 出版日期: 2025年12月26日
• PDF: 下载 PDF