关于评估对抗鲁棒性

Source: Dev.to

为什么一些 AI 防御会失败 — 对测试和安全的简要观察

人们构建从数据中学习的系统，但细微的欺骗性变化可能导致它们失效。

研究人员努力阻止这些 对抗性攻击，然而许多修复方案起初看起来不错，随后却失效。

主要问题在于我们如何检验它们：薄弱的测试会带来虚假的安慰。

良好的检查必须尝试多种情况，并诚实地说明遗漏了什么，因为看似安全的模型未必能够保持安全。

这篇简短的说明指出需要关注的要点，并分享了报告中可以期待的简易 最佳实践，以便审稿人和读者了解何时需要担忧。

推荐实践

• 测试应覆盖大量案例并重复进行。
• 团队应清晰说明他们做了或没有尝试的内容。

这关乎建立信任，而不仅仅是标题。如果我们都推动更强的 安全测试 和更清晰的报告，整个领域将会进步。即使进展有时显得缓慢，微小的步伐也会带来更强的 鲁棒性。

参考

On Evaluating Adversarial Robustness