[论文] 提问、回答与检测：使用角色扮演 LLMs 进行人格检测的基于问题条件的 Mixture-of-Experts

Source: arXiv - 2512.08814v1

概览

本文提出了 ROME，一个利用大型语言模型（LLM）在经典人格问卷（如 MBTI、Big‑5）上进行“角色扮演”的新框架。通过将用户的原始社交媒体帖子转化为对经验证的心理测量项目的模拟答案，ROME 在嘈杂文本与抽象人格标签之间搭建了一座透明的桥梁，显著提升检测准确率，同时保持推理过程对开发者可解释。

主要贡献

• 心理学感知提示：利用 LLM 回答问卷项目的能力，将领域特定知识直接注入模型。
• 问题条件化混合专家（MoE）：一个轻量级路由模块，联合处理原始帖子和生成的问题上下文，学习将问卷答案作为辅助任务进行预测。
• 答案向量监督：将 LLM 生成的答案转换为结构化的“答案向量”，作为丰富的中间监督，缓解标注人格数据稀缺的问题。
• 多任务学习流水线：同时在答案预测和最终人格分类上进行训练，得到更稳健的端到端系统。
• 显著的实证提升：在公开的 Kaggle 人格数据集上相较于最佳已有方法提升 15.4 %（相对），在第二个基准上也保持一致的提升。

方法论

1. 数据准备 – 将每位用户的帖子集合与一组心理测量问题配对（例如 “我喜欢社交聚会”。）

2. 角色扮演 LLM – 使用预训练的 LLM（如 GPT‑3.5）提示其 假装 是该用户来回答每个问题，使用用户的帖子作为上下文。得到 问题层面的答案（通常为李克特量表得分）。

3. 问题条件化 MoE

   • 使用 Transformer 编码器对帖子文本进行编码。
   • 每个问题也进行嵌入（通过相同的 LLM 或更小的编码器）。
   • 门控网络决定哪个专家（一个小的前馈子网络）处理特定帖子与问题对的交互。

4. 答案向量构建 – 将所有预测答案拼接成固定大小的向量，直接映射原始问卷的结构。

5. 多任务目标 – 同时优化两个损失：

   • 答案预测损失（在少量标注子集上以问卷的真实答案为监督）。
   • 人格分类损失（对 MBTI/Big‑5 标签使用标准交叉熵）。

   辅助的答案任务迫使模型学习心理学上有意义的表征，从而提升最终标签的预测效果。

结果与发现

• 可解释性：答案向量揭示了哪些问卷项目驱动了特定的人格预测，这在仅使用文本的黑箱模型中是缺失的。
• 数据效率：即使仅使用 5 % 的训练数据标注，ROME 仍然超越在全量数据上训练的基线，验证了辅助监督的强大效力。
• 消融实验：去除 MoE 路由或答案预测任务会导致性能下降约 7 %，凸显二者的互补作用。

实际意义

• 个性化用户体验：开发者可以将 ROME 集成到推荐系统、聊天机器人或自适应 UI 中，从已有交互日志中推断用户特质，而无需显式的问卷回答。
• 心理健康工具：临床医生可将答案向量作为首筛手段，标记出答案暗示风险因素（如高神经质）的用户。
• 合规与透明：因为模型输出的是人类可读的问卷得分，比起不透明的嵌入向量更符合新兴的 AI 可解释性法规。
• 低标注场景：数据有限的初创公司可以通过在通用 LLM 上使用 ROME 的多任务设置，快速启动高性能检测器。
• 即插即用：MoE 组件轻量（≈ 2 M 参数），可附加到任何已有的基于 Transformer 的文本编码器上，迁移到生产环境十分简便。

局限性与未来工作

• 提示敏感性：生成答案的质量依赖于提示工程，糟糕的提示可能引入偏差。
• 问卷覆盖度：ROME 目前假设固定的心理测量项目；扩展到其他人格模型（如 HEXACO）需要额外的提示设计和适度的再训练。
• LLM 推理的可扩展性：实时角色扮演使用大型 LLM 成本较高；未来工作可探索蒸馏模型或基于适配器的 LLM 以降低延迟。
• 跨文化有效性：问卷主要以英语为中心；在多语言或文化多样的语料库上评估 ROME 仍是开放方向。

结论：ROME 证明了将 LLM 的生成能力与经典心理测评相结合，可构建出更数据高效、可解释且准确的人格检测流水线——这一方法已可供开发者立即采用，以构建更智能、以用户为中心的应用。

作者

• Yifan Lyu
• Liang Zhang

论文信息

• arXiv ID: 2512.08814v1
• 分类: cs.CL
• 发表时间: 2025 年 12 月 9 日
• PDF: Download PDF