[Paper] 当不存在基准时：在没有真实标签的情况下验证比较 LLM 安全评分

Source: arXiv - 2605.06652v1

概述

本文解决了一个现实问题：当针对目标语言、行业或监管环境不存在预先的基准或标注数据集时，如何比较大型语言模型（LLM）的安全性。通过形式化“无基准比较安全评分”，作者提出了一个严格的审计框架，仍然能够为生产环境中的模型选择提供可信的证据。

关键贡献

• 无基准安全评分的形式化定义 – 引入明确的契约（情景包、评分标准、审计员、评判者、抽样计划和重新运行预算），使审计结果可解释。
• 工具效度链 – 用三步验证取代不可得的真实标签：(1) 受控的安全‑对‑失控对比，(2) 目标驱动方差相对于审计员/评判者噪声的优势，(3) 多次运行的稳定性。
• SimpleAudit 工具包 – 一个轻量级、“本地优先”的实现，强制执行效度链，可在任何硬件上运行，无需云依赖。
• 在挪威安全包上的实证验证 – 展示了高 AUROC（0.89–1.00）、强目标驱动方差（η² ≈ 0.52），以及约 10 次重新运行后收敛。
• 公共部门采购案例研究 – 将框架应用于比较两款挪威 LLM（Borealis 与 Gemma 3），显示安全排名取决于情景类别和风险度量，并且必须报告完整的审计元数据。

方法论

1. 情景包与评分标准 – 工程师制定一套固定的真实情景提示（scenarios）和评分标准，将模型输出分类为“安全”、“不安全”或“被抹除”（故意有害）。
2. 审计员与评审角色 –
   • 审计员 对每个情景运行模型，记录原始响应。
   • 评审（人工或自动）使用评分标准分配安全分数。
3. 工具有效性链 –
   • 对比测试：验证该工具能够可靠地区分已知的安全目标与故意“被抹除”的版本（例如，旨在诱导有毒输出的提示）。
   • 方差分解：使用类似 ANOVA 的分析，确保分数的大部分方差来源于被测模型，而非审计员或评审的个体差异。
   • 稳定性检查：多次重复审计（重新运行），并测量 AUROC 和严重性分布收敛的速度；作者发现十次重新运行已足够。
4. SimpleAudit 实现 – 一个 Python 包，自动化情景加载、模型调用、评分标准应用以及统计检查，全部可在本地运行。

结果与发现

• 判别能力：在挪威安全包上，安全提示与被削弱提示的 AUROC 在 0.89 到完美的 1.00 之间，证实对比测试有效。
• 目标驱动方差：约 52 % 的安全分数总方差归因于模型本身（η² ≈ 0.52），远超审计员和评审员的贡献。
• 稳定性：严重性概况指标（如关键率、平均风险）在大约十次重复后趋于稳定，表明生产审计的实际重复预算。
• 跨工具一致性：将相同链应用于开源工具 Petri，得到兼容的结果，表明有效性链与工具无关。
• 采购案例：在比较 Borealis 和 Gemma 3 的不同场景类别（如数据隐私、错误信息）时，“更安全”的模型会因所使用的风险度量不同而翻转，强调需要报告完整的审计上下文，而非单一聚合排名。

Practical Implications

• Deployers can audit new LLMs without waiting for industry‑wide benchmarks, enabling faster, evidence‑based model selection for niche languages or regulated domains.
  部署者可以在无需等待行业范围基准的情况下审计新 LLM，从而实现更快、基于证据的模型选择，适用于小众语言或受监管领域。
• Audit contracts make results reproducible: By publishing the exact scenario pack, rubric, auditor/judge identities, sampling plan, and rerun count, teams can compare scores across organizations or over time.
  审计合同使结果可复现：通过公开完整的情景包、评估标准、审计员/评审员身份、抽样计划以及重跑次数，团队可以在不同组织之间或随时间比较分数。
• Tooling integration: SimpleAudit can be embedded into CI pipelines, allowing continuous safety monitoring as models are fine‑tuned or updated.
  工具集成：SimpleAudit 可嵌入 CI 流水线，实现模型微调或更新时的持续安全监控。
• Regulatory alignment: The framework provides a defensible audit trail that regulators could accept as “deployment evidence” when formal benchmarks are unavailable.
  合规对齐：该框架提供可辩护的审计轨迹，监管机构在缺乏正式基准时可接受其作为“部署证据”。
• Decision‑making granularity: Instead of a single “best model” label, stakeholders receive a matrix of safety scores per scenario category and risk metric, supporting nuanced procurement or risk‑mitigation strategies.
  决策粒度：不再只有单一的“最佳模型”标签，利益相关者会得到按情景类别和风险指标划分的安全得分矩阵，支持更细致的采购或风险缓解策略。

限制与未来工作

• 情景设计偏差：整个链条的有效性取决于手工制作的情景包的质量和覆盖范围；选择不当的提示可能会掩盖安全问题。
• 人工评审变异性：尽管方差分析显示目标占主导，但研究仍依赖人工评分标准的应用，这可能无法扩展到大规模审计批次。
• 领域迁移：实验聚焦于挪威公共部门情境；需要对其他语言、文化规范以及高风险领域（例如医疗）进行进一步验证。
• 对比测试的自动化：未来工作可以探索自动生成删减提示，以降低人工工作量。
• 与现有基准的整合：将无基准评分与传统基准结果相结合，可能产生混合安全度量，这是作者建议的后续研究方向。

作者

• Sushant Gautam
• Finn Schwall
• Annika Willoch Olstad
• Fernando Vallecillos Ruiz
• Birk Torpmann-Hagen
• Sunniva Maria Stordal Bjørklund
• Leon Moonen
• Klas Pettersen
• Michael A. Riegler

论文信息

• arXiv ID: 2605.06652v1
• 分类: cs.LG, cs.AI, cs.CL
• 发布时间: 2026年5月7日
• PDF: 下载 PDF