Anthropic, 개발자 반발에 숨겨진 AI 제한 정책을 뒤집다
Source: DevOps.com
Anthropic는 최신 모델인 Claude Fable 5의 성능을 저하시키는 논란이 있었던, 사전 고지되지 않은 정책을 급히 철회했습니다.
이번 정책 전환은 머신러닝 커뮤니티의 강력한 반발에 따른 것으로, Wired 보도에 따르면 해당 기업이 투명성 부족과 반경쟁적 행동을 보였다고 비판받았습니다.
논란은 이번 주 초 Claude Fable 5가 출시되면서 시작되었습니다. 이 모델은 Anthropic의 고도화된 Mythos 시스템에 국가 안보용 가드레일을 추가한 버전입니다. Anthropic는 사이버 보안, 생물학, 화학과 관련된 위험한 프롬프트는 덜 진보된 모델로 우회시킨다고 공개했지만, 별도로 전면적인 LLM 개발과 연관된 요청을 조용히 제한한다는 사실은 밝히지 않았습니다.
AI 연구자들은 Fable 5가 경쟁 LLM을 학습시키거나, AI 코드를 디버깅하거나, 신경망 구조를 최적화하는 작업을 맡겼을 때 모델이 사용자에게 알리지 않고 은밀히 실패하거나 출력 품질을 낮춘다는 점을 빠르게 포착했습니다. 이 숨겨진 메커니즘은 개발자들 사이에서 큰 반발을 일으켰으며, 그들은 의도적으로 성능이 저하된 시스템에 비싼 API 토큰을 소모하고 있다고 불만을 제기했습니다.
많은 기술 업계 관계자들은 이러한 은밀한 제한을 경쟁사의 데이터 활용을 차단하려는 적대적 행위로 해석했습니다. 이 사태는 Anthropic의 공공 이미지에 큰 타격을 주었는데, Anthropic는 오랫동안 OpenAI와 같은 경쟁사보다 더 윤리적이고 연구자 친화적이며 안전을 중시하는 대안으로 자리매김해 왔기 때문입니다.
“사용자에게 알리지 않고 ML 연구 성능을 저하시키는 것은 충격적으로 적대적이며, 매우 부정적인 인상을 남깁니다.”라고 저명한 연구 펠로우 Dean W. Ball이 소셜 미디어 플랫폼 X에 글을 올렸습니다.
Anthropic는 Wired와 Business Insider에 보낸 성명에서 이번 실수를 인정하고 가드레일을 완전히 공개하겠다고 발표했습니다.
“우리는 전면 LLM 개발을 위한 Fable 5의 안전 장치를 공개하도록 변경하고 있습니다.”라고 Anthropic 대변인이 말했습니다. “우리는 잘못된 트레이드오프를 선택했으며, 균형을 맞추지 못한 점에 대해 사과드립니다.”
수정된 정책에 따라 안전 제한은 유지되지만, 은밀한 요소는 제거되었습니다. 이번 주부터는 거부된 API 요청에 대해 명시적인 거절 사유가 반환되며, 일반 사용자 질의는 조용히 성능이 저하되는 대신 이전 모델인 Claude Opus 4.8로 명확히 전환됩니다.
Anthropic는 이러한 안전 장치 자체는 유지할 것이라고 강조했습니다. 이는 Mythos 프레임워크가 고급 추론, 사이버 작전, 과학 연구 분야에서 전례 없는 능력을 갖추고 있기 때문이며, 외국 적대 세력이 무기 연구를 가속화하거나 위험한 기술적 우위를 얻는 것을 방지하기 위한 엄격한 장벽이라고 설명했습니다.
또한 회사는 대부분의 일반 코딩 및 머신러닝 애플리케이션은 이러한 국가 안보 파라미터와 무관하게 정상적으로 동작한다는 점을 개발자들에게 안심시켰습니다. 전체 Mythos 시스템은 여전히 검증된 정부 기관에만 제한되지만, 공개용 Fable 5는 이제 개발자 커뮤니티가 요구하는 투명성을 갖추고 운영될 것입니다.
- 