[Paper] STELLAR：基于搜索的用于大语言模型应用的测试框架

Source: arXiv - 2601.00497v1

概览

本文介绍了 STELLAR，一个自动化的基于搜索的测试框架，旨在对依赖大型语言模型（LLMs）的应用进行压力测试。通过将测试用例生成视为优化问题，STELLAR 系统性地发现能够引发不安全、不准确或其他不良响应的提示——这是传统的手动或基于覆盖率的测试在大规模下难以实现的。

关键贡献

• 基于搜索的测试生成：将提示创建表述为进化优化任务，动态探索丰富的特征空间（风格、内容、扰动）。
• 特征层离散化：将庞大的输入空间拆分为可解释的维度，支持针对性地探索风险提示组合。
• 在三个真实系统上的实证评估：
  • 面向安全性的基准，覆盖公共和专有的大语言模型。
  • 两个面向导航的对话代理（开源和工业检索增强）。
• 显著提升故障发现：相比之前的基线方法，发现的问题响应提升至 4.3×（平均 2.5×）以上。
• 开源原型：提供可复用的代码库，可嵌入现有 LLM 流程进行持续测试。

方法论

1. 特征建模 – 输入提示由三个正交组表示：
   • 风格：语气、正式程度、长度、标点。
   • 内容相关：领域关键词、意图信号、问题类型。
   • 扰动：拼写错误、改写、标记交换、对抗噪声。
2. 优化循环 – 进化算法 (EA) 迭代地变异和重组提示候选：
   • 初始化：从种子语料库随机抽样提示。
   • 评估：将每个提示发送给目标 LLM；响应由 失败检测器 打分（例如，毒性分类器、事实性检查器、领域特定规则集）。
   • 选择与变异：高分（即更易导致失败）的提示存活；交叉和变异算子调整特征值。
   • 终止：在固定查询预算或改进停滞时，报告表现最佳的提示。
3. 失败检测 – 框架可以接入任何度量：安全（毒性、仇恨言论）、事实正确性或业务逻辑违规，使其能够适配不同应用领域。

整体流水线足够轻量，可在商业 API（如 OpenAI、Anthropic）上运行，同时遵守速率限制，并可集成到 CI/CD 流程中进行持续回归测试。

结果与发现

关键要点

• 进化搜索能够发现简单模糊测试或提示工程启发式方法遗漏的边缘案例提示。
• 特征层级抽象使算法能够“学习”哪些风格或扰动模式最有可能导致特定系统的失败。
• 即使在有限的查询预算（约 1 万次调用）下，STELLAR 仍能发现大量高影响力的缺陷，表明许多生产环境的 LLM 服务测试不足。

实际影响

• 持续安全保障 – 团队可以将 STELLAR 嵌入其 CI 流水线，在模型更新或提示模板更改后自动标记毒性或错误信息的回归。
• 领域特定防护 – 通过替换自定义失败检测器（例如金融合规规则、医学事实检查器），开发者可以生成有针对性的对抗性提示，而无需手工编写。
• 成本效益高的质量保证 – 与繁琐的手动提示工程相比，进化方法每次 API 调用能产生更多失败，从而降低在昂贵 LLM 接口上的测试开支。
• 模型无关的部署 – 由于 STELLAR 仅通过标准的文本输入/输出接口与 LLM 交互，它可以兼容任何供应商或自托管模型，成为异构技术栈的多功能补充。
• 为提示设计师提供洞察 – 所发现的提示模式可以指导更好的提示模板实践，帮助产品团队从一开始就编写更安全、更稳健的面向用户的提示。

限制与未来工作

• 故障检测器依赖 – 发现的漏洞质量取决于下游分类器（毒性、事实性）的可靠性。校准不当的检测器可能产生误报/漏报。
• 查询预算限制 – 虽然在约 1 万次查询下效果良好，但对具有严格速率限制的大型商业模型可能需要进一步的预算感知策略（例如使用代理模型预过滤候选）。
• 仅限文本输入 – STELLAR 侧重于纯文本提示；将该方法扩展到多模态大语言模型（图文、音文）仍是一个未解的挑战。
• 进化超参数 – 当前的进化算法设置（种群规模、变异率）是针对评估任务进行调优的；更自动化的超参数搜索可能提升跨领域的可移植性。

未来的研究方向包括集成学习型代理模型，以在进行昂贵的 API 调用前预测失败概率，扩展多模态输入的特征分类法，并探索将基于梯度的提示优化与进化方法相结合的混合搜索策略。

作者

• Lev Sorokin
• Ivan Vasilev
• Ken E. Friedl
• Andrea Stocco

论文信息

• arXiv ID: 2601.00497v1
• 分类: cs.SE
• 出版日期: 2026年1月1日
• PDF: 下载 PDF