Mozilla 称 Mythos 发现了 271 个漏洞，且“几乎没有误报”。

Source: Hacker News

当 Mozilla 的首席技术官上个月宣称 AI 辅助的漏洞检测意味着 “零日漏洞已成过去式” 且 “防御者终于有机会决定性地获胜” 时，现场的怀疑几乎可以触摸到。毕竟，这看起来像是一个再熟悉不过的模式：挑选少数令人印象深刻的 AI 成果，省略任何可能呈现更为细致图景的细节说明，让炒作列车继续前进。

考虑到这种怀疑，Mozilla 于本周四公开了其使用 Anthropic Mythos（一种用于识别软件漏洞的 AI 模型）在两个月内找出 271 条 Firefox 安全缺陷的幕后细节。在一篇文章中，Mozilla 的工程师们表示，他们最终准备好向公众展示的突破主要归功于两点：

1. 模型本身的改进。
2. Mozilla 开发的自定义 “harness”——该工具在 Mythos 分析 Firefox 源代码时提供支持。

“几乎没有误报”

工程师们表示，以前使用 AI 辅助漏洞检测时常常伴随 “不必要的噪声”。通常的做法是让模型分析一段代码块，模型随后会生成看似合理的错误报告，且规模前所未有。然而，往往在人工开发者进一步调查时，会发现大量细节是幻觉产生的。于是，人工需要花费大量时间以传统方式处理这些漏洞报告。

Mozilla 与 Mythos 的合作则不同，Mozilla 资深工程师 Brian Grinstead 在一次采访中指出。最大的区别在于使用了一个 agent harness，这是一段围绕大语言模型（LLM）编写的代码，用于引导模型完成一系列特定任务。要让这样的 harness 有用，需要投入大量资源来针对项目的语义、工具链和流程进行定制。

Grinstead 将他们团队构建的 harness 描述为：

“驱动 LLM 完成目标的代码。它向模型下达指令（例如‘在此文件中查找漏洞’），提供工具（例如允许读取/写入文件和评估测试用例），然后在循环中运行直至完成。”

该 harness 让 Mythos 获得了与人类 Mozilla 开发者相同的工具和流水线，包括用于测试的特殊 Firefox 构建。