研究人员对Claude进行精神操控，让其提供制造爆炸物的指令

Source: The Verge

Overview

Anthropic 多年来一直在打造其“安全 AI”公司的声誉。与 The Verge 分享的新安全研究表明，Claude 那精心构建的乐于助人的人格本身可能是一种漏洞。

Findings

• AI 红队公司 Mindgard 的研究人员报告称，他们能够让 Claude 生成：
  • 色情文学
  • 恶意代码
  • 制作炸药的说明
  • 其他他们并未明确请求的禁用材料
• 研究人员称，实现这一点仅需 尊重、恭维以及一点点的气体灯效。
• 该团队表示，他们利用了 Claude 的 “心理” 怪癖，这些怪癖源自其能力 …（原文在此处被截断）。

Anthropic’s Response

Anthropic 并未立即回应 The Verge 的置评请求。