보안 연구원들, Anthropic의 Fable 제한 조치에 불만을 표명한다.
Source: TechCrunch
Anthropic은 화요일에 최신 모델 Fable을 출시하면서, 강력하고 크게 기대되는 사이버보안 모델 Mythos의 공개 및 제한된 버전이라고 소개했습니다.
하지만 모든 사람이 이 제한에 만족하는 것은 아니며, 여러 사이버보안 연구원과 전문가들이 온라인에 불만을 제기했습니다.
“Fable은 사이버와 관련될 가능성이 있는 모든 요청을 거부합니다. 블로그 글을 읽는 것 같은 무해한 작업조차도 말이죠.”라고 IBM X‑Force에서 일하는 유명 보안 연구원 Valentina “Chompie” Palmiotti가 말했습니다.
프롬프트가 가드레일에 걸리면 Fable은 채팅을 일시 중지하고 “보안 조치가 사이버보안 또는 생물학 주제에 대해 이 메시지를 표시했습니다”라고 알립니다.
가드레일은 Fable이 악성코드를 만들거나 소프트웨어를 손상시키는 데 사용되는 위험을 제한하기 위해 도입되었습니다—Anthropic 내부에서 오래전부터 제기돼 온 우려입니다. 생물학에 대한 제한은 생물학 무기 개발에 대한 유사한 우려에서 비롯되었습니다.
AI 거대 기업이 4월에 Mythos를 출시했을 때, Anthropic은 이를 Project Glasswing이라 부르는 제한된 기업 및 조직에만 제공했습니다. 이는 중요한 소프트웨어와 인프라를 보호하기 위한 모델 배포 노력의 일환이었습니다. 지난주 Anthropic은 Mythos 접근성을 15개국의 수백 개 조직으로 확대했습니다.
그럼에도 불구하고 많은 사이버보안 전문가들은 이러한 제한이 일관성 없다고 느낍니다. 사이버보안 베테랑 Matt Suiche는 TechCrunch에 “보안 코드를 작성해 달라고 요청하면 사이버보안 작업으로 간주돼 소프트웨어 엔지니어링 모범 사례가 아닌 것으로 취급되고, 결과가 낮게 평가됩니다.”라고 전했습니다. Fable은 가드레일에 걸리면 Claude Opus 4.8로 되돌아가도록 설계되었습니다. “키워드 기반인 듯 보이며, ‘cybersecurity’와 관련된 어휘가 나오면 가드레일이 작동합니다.”
Contact Us
더 많은 해커들이 AI를 어떻게 활용하고 있는지, 혹은 사이버보안 기업들이 AI를 어떻게 쓰고 있는지에 대한 정보가 있나요? 여러분의 이야기를 듣고 싶습니다. 업무용이 아닌 기기와 네트워크에서 Lorenzo Franceschi‑Bicchierai에게 안전하게 연락하려면 Signal +1 917 257 1382, Telegram·Keybase @lorenzofb, 또는 email 로 보내 주세요.
“아직 초기 단계라 가드레일을 조정하고 있는 상황이니 이해할 수 있습니다. Anthropic과 다른 최첨단 모델 기업들이 현재 새로운 세대 사이버보안 기업들과 더 많이 협업하면서 가드레일은 시간이 지나면서 진화할 것입니다.”라고 Tolmo(AI 사이버보안 스타트업)의 기술 직원이자 Suiche의 동료인 그는 말했습니다. “이런 릴리스를 할 때는 충분히 많은 사람을 차단하는 것이 좋으며, 시간이 지나면서 가드레일을 완화해 나가야 합니다.”
다른 연구원은 X에 “코드 리뷰 요청조차도 Fable의 가드레일을 작동시킨다”고 불만을 토로했습니다.
Anthropic은 즉시 논평 요청에 답변하지 않았습니다.
모델 내부의 가드레일 외에도 Anthropic은 사이버보안 전문가들에게 Cyber Verification Program에 신청하도록 요구합니다. 승인을 받으면 Claude를 사이버보안 작업에 사용할 때 제한이 줄어듭니다. OpenAI도 유사한 Trusted Access for Cyber 프로그램을 운영하고 있습니다.
우리 기사에 포함된 링크를 통해 구매하면 소액의 커미션을 받을 수 있습니다. 이는 편집 독립성에 영향을 주지 않습니다.
Lorenzo Franceschi‑Bicchierai는 TechCrunch의 시니어 라이터로, 해킹, 사이버보안, 감시 및 프라이버시를 다룹니다.
Lorenzo에게 연락하거나 그의 아웃리치를 확인하려면 lorenzo@techcrunch.com 으로 이메일을 보내거나, Signal +1 917 257 1382 로 암호화된 메시지를 보내고, Keybase/Telegram에서 @lorenzofb 로 연락하세요.