[Paper] Quantum-Audit：评估LLMs在量子计算上的推理极限

Source: arXiv - 2602.10092v1

请提供您希望翻译的具体文本内容（例如摘要、引言或全文），这样我才能为您准确地翻译成简体中文。谢谢！

概述

论文 “Quantum‑Audit: Evaluating the Reasoning Limits of LLMs on Quantum Computing” 引入了一个大规模基准，用于探测大型语言模型（LLMs）在量子计算概念上的真实理解程度——不仅仅是它们编写代码的能力。通过在 2,700 个精心设计的问题上测试 26 种最先进的模型，作者揭示了令人惊讶的优势和显著的盲点，这些都对开发者、教育者以及量子技术创业公司具有重要意义。

关键贡献

• 首创基准（Quantum‑Audit），涵盖 2,700 道关于核心量子主题的问题，包括理论、算法、硬件和安全。
• 三类问题：
  1. 1,000 由专家编写的项目（高质量，人工策划）。
  2. 1,000 由 LLM 生成的项目，摘自近期研究论文并经专家验证。
  3. 700 条“挑战”项目（350 条开放式，350 条故意设有错误前提）。
• 对 26 种领先 LLM 的全面评估，涵盖开源和商业产品。
• 人工基线：参与者准确率 23 %–86 %，领域专家平均 74 %。
• 关键洞察：顶级商业模型（如 Claude Opus 4.5）在整体基准上可超越专家平均水平，但在专家编写和安全聚焦的问题上仍表现不佳。
• 错误传播分析：模型常接受错误前提，在“检测错误”项目上的准确率低于 66 %。

方法论

1. 题目设计

• 专家撰写：量子研究人员编写了 1,000 道选择题和简答题，涵盖基础（量子位、叠加、测量）、算法（Grover、Shor）、错误纠正以及新兴的安全问题。
• 大模型生成：另一个大语言模型扫描了近期的量子计算论文，提取陈述并将其转化为问题。随后由人工专家对每道题的正确性和相关性进行审查。
• 挑战集：旨在探查推理深度。
  • 开放式提示 要求模型在没有预设选项的情况下解释概念或解决问题。
  • 错误前提题目 藏有细微错误（例如，“如果在 X 基底测量量子位，其状态会坍缩到 |0⟩ …”），要求模型发现并纠正它。

2. 模型评估

• 每个模型通过零样本 API 调用（未进行微调）接收完整的 2,700 题套。
• 对于选择题，模型排名最高的答案与标准答案进行比较。
• 开放式回答由两位独立的量子计算专家依据评分标准进行评分，评分标准奖励正确性、完整性和逻辑论证。

3. 人类基准

• 30 名参与者（学生、工程师和量子研究人员）在相同条件下完成相同测试。他们的得分为“合理”表现提供参考。

4. 指标

• 主要指标：准确率（正确回答题目的百分比）。
• 次要分析：按题目来源（专家 vs. 大模型生成）、难度层级（基础 vs. 高级/安全）以及错误前提题目的前提验证率进行表现划分。

结果与发现

• 性能差距：即使是表现最好的模型，在专家编写的问题上也比在LLM生成的问题上低约12分，这表明经过精心策划的高质量提示会暴露出更深层的推理缺陷。
• 安全问题：准确率下降到低七十个百分点，说明模型在量子密码学或侧信道攻击等细微主题上仍不可靠。
• 前提感知推理：模型常常接受错误的假设并强化它们，而不是标记错误——这对任何咨询或辅导系统都是致命缺陷。

Practical Implications

• 教育工具：LLM 已经能够作为称职的“第一线”导师，教授入门量子概念，但开发者应在将其用于正式课程之前嵌入验证层（例如，与知识库交叉检查）。
• 研究助理：在 LLM 生成的问题上表现出色表明模型擅长总结和改写最新文献，使其在快速文献综述中有用——前提是用户保持对事实准确性的警惕。
• 量子软件开发：虽然代码生成基准仍然强劲，但此处发现的推理缺陷警示不要在没有人工监督的情况下依赖 LLM 进行设计评审或安全审计。
• 产品路线图：构建面向量子的 AI 助手的公司应优先考虑 前提验证 功能（例如，内置逻辑一致性检查），以避免在错误前提测试中凸显的“幻觉强化”问题。
• 监管与合规：对于量子安全至关重要的行业（金融、国防），在安全问题上低于 70% 的准确率表明当前的 LLM 尚不适合自主决策。

限制与未来工作

• 主题范围：基准聚焦于精选的核心和新兴主题；超专业领域（例如拓扑量子纠错）仍未被测试。
• 零样本设置：所有模型均在未微调的情况下进行评估；通过领域特定的指令微调可能提升性能，作者计划进一步探索。
• 人工评分主观性：开放式答案由专家打分，可能引入偏差；后续版本将加入更大规模的标注者池以及评审者间可靠性指标。
• 动态量子领域：量子研究发展迅速；保持基准的相关性需要定期更新新论文和新兴概念。

底线：Quantum‑Audit 照亮了大型语言模型真正理解量子计算的所在——以及它们仅仅听起来合理的地方。对于构建下一代量子感知 AI 工具的开发者而言，这些发现呼吁将 LLM 的强大语言能力与严格的验证流水线相结合。

作者

• Mohamed Afane
• Kayla Laufer
• Wenqi Wei
• Ying Mao
• Junaid Farooq
• Ying Wang
• Juntao Chen

论文信息

• arXiv ID: 2602.10092v1
• 类别: cs.CL
• 发布日期: 2026年2月10日
• PDF: 下载 PDF