[Paper] 理解基于 Large Language Model 驱动的指南在让 Virtual Reality 对盲人和低视力人士可及方面的使用

Source: arXiv - 2603.09964v1

Overview

一项新研究探讨了由 大型语言模型（LLM）驱动的“视力导览” 如何帮助盲人和低视力（BLV）用户在社交虚拟现实（VR）空间中导航。通过将该导览与一次小规模用户研究（16 名参与者）相结合，作者发现 BLV 用户将 AI 同时视为功能性工具和社交伴侣，并提供了构建包容性 VR 体验的全新设计洞见。

关键贡献

• LLM 驱动的指南原型，实时回答导航查询并描述虚拟环境。
• 实证用户研究，包括 16 名视障参与者在单人和社交丰富的 VR 场景中与指南互动。
• 行为洞察，显示从“工具”心态（单人）转向“伴侣”心态（群体）——例如给指南起昵称、为错误辩解，并促使与其他化身互动。
• 设计建议，面向未来基于 AI 的可访问性代理（例如，个性线索、错误透明度、多模态反馈）。
• 跨学科贡献，连接人机交互（HCI）、人工智能和可访问性研究。

方法论

1. 指南架构

   • 一个 大型语言模型（GPT‑4‑style）接收场景元数据流（对象位置、化身位置、音频提示）。
   • 模型生成简洁的口头描述并回答临时问题（“门在哪里？”）。
   • 输出通过 文本转语音引擎 渲染，并通过用户的头戴设备传递。

2. 研究设计

   • 参与者： 16 名视力受限或失明程度不同的成年人。
   • 情境：
     • 单独导航：参与者单独探索虚拟大堂，仅依赖指南。
     • 社交互动：由研究人员控制的同伴化身加入场景，促使参与者同时与化身和指南进行协调。
   • 数据收集： 思考朗读协议、屏幕录制日志、会后访谈以及对指南相关语言的情感编码。

3. 分析

   • 通过定性编码识别工具型与伴侣型行为模式。
   • 定量指标（例如任务完成时间、指南查询次数）补充定性洞察。

结果与发现

总体而言，指南实现了成功的导航和交互，但其可信度的感知取决于用户对其角色的定位。

实际意义

• 针对VR开发者：

  • 嵌入基于LLM的叙述层可以在不重新设计几何结构的情况下，使现有的3D世界瞬间更易于访问。
  • 提供可配置的个性设置（语调、名称、冗长程度），让视障用户将指南定制为“工具”或“伴侣”角色。

• 针对AI产品团队：

  • 利用置信分数或“我不确定”提示，避免用户过度信任错误的描述。
  • 设计多模态反馈（用于接近感的触觉提示、用于物体身份的音频），以补充LLM的语音。

• 针对可及性顾问：

  • 在审计VR平台的视障合规性时，使用研究的设计建议（例如，明确的错误解释、一致的语音身份）。

• 针对开源社区：

  • 该原型可以基于现有的LLM API（OpenAI、Anthropic）构建，并通过简单的元数据钩子与Unity/Unreal集成，降低包容性VR工具的门槛。

限制与未来工作

• 样本规模与多样性: 16 名参与者提供了丰富的定性数据，但限制了在盲视障（BLV）能力全谱上的统计推广。
• 导览者的知识范围: 原型依赖预处理的场景元数据；真实世界的 VR 应用可能包含动态的、程序生成的内容，难以描述。
• 延迟与带宽: 实时 LLM 推理可能导致延迟，尤其在移动头显上；未来工作应探索边缘计算或蒸馏模型。
• 长期交互: 本研究仅覆盖一次会话；需要进行纵向研究以观察与导览者的关系在数周或数月中的演变。

未来的研究方向包括 自适应人格模型、错误感知对话管理 和 跨模态整合（例如，振动触觉地图），以进一步缩小沉浸式社交 VR 中的可访问性差距。

作者

• Jazmin Collins
• Sharon Y Lin
• Tianqi Liu
• Andrea Stevenson Won
• Shiri Azenkot

论文信息

• arXiv ID: 2603.09964v1
• Categories: cs.HC, cs.AI, cs.ET
• Published: 2026年3月10日
• PDF: 下载 PDF