[Paper] QSTN：用于大语言模型的稳健问卷推断的模块化框架

Source: arXiv - 2512.08646v1

Overview

本文介绍了 QSTN，一个开源的 Python 框架，使研究人员和开发者能够从大型语言模型（LLMs）生成并评估问卷式响应。通过将调查视为系统化的提示任务，QSTN 可以在大规模“体内”进行调查，同时保持实验的可复现性并使结果可与人工答案进行比较。

Key Contributions

• 模块化、开源库，用于构建、运行和分析基于 LLM 的问卷提示。
• 系统化评估流水线，能够隔离问题措辞、呈现格式和响应生成策略的影响。
• 大规模实证研究（超过 4000 万条合成调查响应），展示了设计选择如何影响与人类数据的一致性。
• 免代码网页 UI，让非程序员也能设置稳健的 LLM 调查实验。
• 成本效益高、可靠的 LLM 驱动标注指南，可在许多工作流中替代或补充人工标注。

Methodology

1. Prompt Construction – QSTN 将每个问卷条目视为提示模板。研究者可以变更措辞、顺序、答案选项布局，甚至注入“噪声”（例如同义词、拼写错误）以测试鲁棒性。
2. Response Generation – 框架支持多种 LLM 后端（OpenAI、Anthropic、开源模型）以及多种解码策略（温度控制采样、束搜索、top‑p）。
3. Evaluation Harness – 自动将生成的答案与真实的人类数据集进行比较，使用精确匹配、语义相似度、校准误差等指标。
4. Experiment Orchestration – QSTN 的流水线并行运行成千上万的提示‑模型组合，记录成本，并将结果以结构化的 JSON/CSV 格式存储，以供后续分析。
5. User Interface – 基于 Flask 的轻量 UI 允许用户拖拽问卷文件、选择模型并启动实验，无需编写代码。

Results & Findings

• 问题结构重要：简短、单句且带有明确答案选项的问题在与人类响应的对齐度上最高（精确匹配可达 92 %），而多句或含糊的表述会导致对齐度下降 15‑20 %。
• 解码策略关键：低温度（temp ≤ 0.2）的确定性采样在事实性调查条目上始终优于高温度或 nucleus 采样。
• 模型规模与成本权衡：中等规模模型（约 13 B 参数）在计算成本仅为最大模型约 30 % 的情况下，实现了接近人类的协议度。
• 对扰动的鲁棒性：引入轻微的词汇变化（同义词、选项顺序打乱）仅使对齐度下降约 5 %，表明精心设计的提示对表层噪声具有韧性。
• 免代码 UI 可用性：试点用户（社会科学家、产品经理）能够在 10 分钟内完成完整实验，验证了易用性目标。

Practical Implications

• 快速原型化 LLM 调查 – 产品团队可以在无需招募受访者的情况下测试用户体验问题或市场调研问卷，节省时间和预算。
• 可扩展的数据标注 – 在构建分类或情感分析训练集时，QSTN 能大规模生成高质量标注数据，降低对昂贵人工标注的依赖。
• Prompt 设计的 A/B 测试 – 开发者可以系统比较不同措辞或 UI 布局在聊天机器人和语音助理中的表现，确保最终提示能够产生最可靠的模型行为。
• 合规性与可复现性 – 框架的版本化流水线和成本日志使得满足 AI 生成内容审计要求更为容易，这在受监管行业中日益重要。
• 教育与研究 – 教师可以在不需要深度编程技能的前提下，让学生接触真实的 LLM 评估，推动更数据驱动的课程体系。

Limitations & Future Work

• 领域特异性 – 当前评估聚焦于通用知识和意见调查；在高度专业或细分领域（如医学问卷）上的表现尚未验证。
• 人工基准质量 – 对齐度指标依赖于人工参考数据集的质量和多样性；该数据中的偏见可能会传递到评估结果。
• 模型访问限制 – 虽然 QSTN 支持开源模型，但许多高性能 LLM API 受限，限制了没有商业访问权限的研究者的可复现性。
• 未来方向 包括将框架扩展到多模态提示（图像加文本调查），集成主动学习循环以进行迭代提示优化，并发布覆盖更多专业问卷领域的基准套件。

Authors

• Maximilian Kreutner
• Jens Rupprecht
• Georg Ahnert
• Ahmed Salem
• Markus Strohmaier

Paper Information

• arXiv ID: 2512.08646v1
• Categories: cs.CL, cs.CY
• Published: December 9, 2025
• PDF: Download PDF