OpenAI 承认 prompt injection 将持续存在，企业在防御方面滞后

Source: VentureBeat

概览

当一家领先的 AI 公司说出显而易见的事实时，令人耳目一新。在一篇关于如何强化 ChatGPT Atlas 以防止提示注入的详细帖子中，OpenAI 承认了安全从业者多年来早已了解的事实：“提示注入，就像网络上的诈骗和社会工程一样，不太可能被完全消除。”

OpenAI 的这篇写作阐述了攻击者如何操纵系统提示、抵御此类攻击的挑战以及公司正在推进的缓解措施。文章涵盖了：

• 了解威胁
• 当前防御
• 未来方向

公司还强调，提示注入本质上是一个 社会工程问题，需要技术控制与用户意识双管齐下。OpenAI 邀请安全社区帮助改进防御，并指出 “单一解决方案不足以应对；必须采用分层方法。”

虽然这篇文章对构建在 ChatGPT 之上的开发者而言是宝贵资源，但它也提醒我们，提示注入将始终是一个需要通过不断演进的安全实践来持续应对的持久风险。

了解威胁

• 恶意输入如何通过插入隐藏指令来劫持模型行为。

当前防御

• 提示净化、用户级过滤以及模型级防护等技术。

未来方向

• 对更强大的上下文隔离、验证层以及协作安全测试的研究。