[Paper] 大语言模型能估计学生的学习困难吗？人机难度对齐与熟练度模拟用于题目难度预测

Source: arXiv - 2512.18880v1

Overview

本文研究了当今的大型语言模型（LLMs）是否能够 感受 人类学习者在解答考试式题目时所经历的相同难度。通过将模型预测的难度分数与人类判断进行比较，涉及超过20种LLM和多个领域（医学知识、数学推理等），作者发现了一种系统性的错位：更大或更强的模型 并未 在估计学生对问题的难度上变得更好。

关键贡献

• 大规模人类‑AI 难度对齐研究 – 对 20 多个大型语言模型在超过 10,000 项跨多个学科的项目上进行评估。
• “机器共识”的实证证据 – 模型在难度认知上趋于一致，形成一种与人类感知不同的共识，且此现象与模型规模无关。
• 熟练度模拟提示分析 – 明确要求模型采用低熟练度角色的提示仍无法产生类似人类的难度估计。
• 自省差距量化 – 模型无法可靠预测自身的失误模式或置信度，凸显其缺乏自我意识。
• 实用基准与数据集发布 – 作者开源了项目难度数据集及评估脚本，以供后续研究使用。

方法论

1. 项目收集 – 从标准化考试、医学执业考试和数学竞赛中策划了数千道选择题和开放式题目基准。每道题已有人类难度评级（例如，答对的考生比例）。
2. 模型套件 – 对20多种大语言模型进行推理，参数规模从125 M到175 B不等，包括开源模型（LLaMA、Falcon）和商业API（GPT‑4、Claude）。
3. 提示设计
   • 直接难度查询：“在1‑10的尺度上，这道题对普通高中生来说有多难？”
   • 熟练度模拟：“请以只懂基础代数的学生身份作答。”
4. 对齐度量 – 计算模型预测分数与人类难度之间的Pearson/Spearman相关系数，并绘制校准曲线以观察模型置信度与实际正确率的匹配程度。
5. 统计控制 – 对题目长度、主题和答案形式进行控制，以隔离模型规模和提示风格的影响。

结果与发现

• 规模悖论：更大的模型（GPT‑4、Claude）在项目上实现了更高的原始准确率，但与人类难度的对齐度更低。
• 共享机器共识：跨架构，模型将“棘手”的项目评为容易，反之亦然，表明它们依赖基于模式的可解性而非认知负荷。
• 提示限制：即使被迫“假装”是新手，模型仍会高估自己的能力，产生的难度分数仍与人类数据相关性差。
• 自省失败：模型很少标记自己的不确定性；置信度分数校准不佳，导致难以检测何时预测可能错误。

实际影响

• 自动化测试设计 – 依赖大型语言模型（LLM）自动评分或生成难度平衡的题库风险较大；人工验证仍然是必不可少的。
• 自适应学习平台 – 使用 LLM 估计的难度来个性化内容的系统可能会误导学习者，导致挫败感或失去参与度。
• AI 辅助辅导 – 让 LLM 模拟学习者的知识水平并不能可靠地提供恰当的支架；开发者应将 LLM 输出与明确的学生表现数据相结合。
• 模型驱动的课程分析 – 观察到的“机器共识”可用于识别那些在算法上容易但在人类感受上困难的题目，从而为混合评估策略提供参考。

简而言之，虽然 LLM 在解题方面表现出色，但它们 尚未 能够可靠地判断这些问题对人类的难易程度。开发者应将 LLM 生成的难度分数视为粗略的启发式指标，而非最终的度量标准。

限制与未来工作

• 领域覆盖 – 基准主要聚焦于高风险学术科目；现实任务（编码面试、软技能评估）可能表现不同。
• 提示多样性 – 只探索了少数几种提示风格；更丰富的角色扮演或思维链提示可能提升对齐效果。
• 学生建模粒度 – 人类难度评分是聚合的；未来工作可以加入个人学习者画像，以测试细粒度对齐。
• 模型自省机制 – 探索辅助训练目标（如置信度校准、自我意识）可能有助于弥合自省差距。

作者鼓励社区在其数据集基础上进行构建，并探索将大型语言模型推理与人类在环反馈相结合的混合方法，以实现更可靠的难度估计。

作者

• Ming Li
• Han Chen
• Yunze Xiao
• Jian Chen
• Hong Jiao
• Tianyi Zhou

论文信息

• arXiv ID: 2512.18880v1
• 分类: cs.CL, cs.AI, cs.CY
• 出版日期: 2025年12月21日
• PDF: Download PDF