OpenAI의 새로운 오픈소스 프롬프트가 청소년 대상 성적 콘텐츠를 겨냥

Source: Mashable Tech

OpenAI는 청소년을 보호하기 위한 정책을 대규모로 배포하기 위해 개발자를 위한 새로운 오픈‑소스 안전 프롬프트를 발표했습니다.

prompt‑based safety pack에는 흔히 발생하는 청소년 위험에 대한 모델 가이드, 발달 단계별 콘텐츠 권장 사항, 그리고 자해, 성적 콘텐츠 및 로맨스 역할극, 위험한 트렌드·바이럴 챌린지, 해로운 신체 이미지와 같은 주제에 대한 연령에 맞는 지침이 포함되어 있습니다. OpenAI는 이것이 이전에 제공된 고수준 가이드라인보다 더 견고한 대안이며, AI 시스템에 직접 삽입되는 프롬프트 형식이라고 설명했습니다.

Prompt‑based safety pack 세부 내용

• 청소년 위험에 대한 모델 가이드를 제공합니다.
• 발달 단계별 콘텐츠 권장 사항을 제시합니다.
• 자해, 성적 콘텐츠, 로맨스 역할극, 위험한 트렌드·바이럴 챌린지, 해로운 신체 이미지 등에 대한 연령에 맞는 지침을 포함합니다.

관련 안전 도구

• 12월에 OpenAI는 Model Spec에 새로운 Under‑18 원칙을 추가했습니다.
• 이전에 회사는 gpt‑oss‑safeguard를 출시했으며, 이는 개발자가 플랫폼 안전 정책을 직접 모델에 입력하도록 하여 모델이 정책 의도를 추론하면서 안전·비안전 콘텐츠를 분류할 수 있게 하는 오픈‑웨이트 추론 모델입니다.

“경험이 풍부한 팀조차도 고수준 안전 목표를 구체적이고 실행 가능한 규칙으로 전환하는 데 어려움을 겪는 경우가 많습니다. 이는 주제 전문 지식과 깊은 AI 지식이 모두 필요하기 때문입니다.”라고 OpenAI는 보도 자료에서 말했습니다. “명확하고 범위가 잘 정의된 정책은 효과적인 안전 시스템의 핵심 기반입니다.”

이 개발자 팩은 비영리 단체 Common Sense Media와 everyone.ai와 협력하여 제작되었습니다.

법적·산업적 맥락

• 전문가들은 취약한 청소년 및 어린 아이들의 과도한 챗봇 사용에 대해 부모들에게 경고하고 있으며, AI 기업들은 모델이 초래할 수 있는 정신 건강 영향을 고민하고 있습니다.
• 지난해 OpenAI는 청소년 Adam Raine의 부모로부터 부당 사망 소송을 당했으며, 이들은 ChatGPT의 아첨적인 반응과 느슨한 안전 정책이 아들의 자살에 일조했다고 주장했습니다. OpenAI는 부당함을 부인했으며, 이후 연령 확인 메커니즘을 포함한 정신 건강 및 청소년 안전 기능을 강화했습니다.
• OpenAI 모델을 라이선스받은 제3자 개발자들은 특히 AI 기반 어린이 장난감 분야에서 동등한 안전 기준을 유지하는 데 어려움을 겪고 있습니다.
• 이 사건은 Character.AI와 같은 플랫폼을 대상으로 한 여러 소송에 이어 Google의 Gemini AI 어시스턴트를 상대로 제기된 최근 부당 사망 소송의 전조가 되었습니다.
• 기술 및 소셜 미디어 기업들은 제품이 장기적으로 미치는 영향에 대한 법적 도전에 직면하고 있습니다. 예를 들어, Instagram CEO Adam Mosseri와 Meta 대표 Mark Zuckerberg는 소셜 미디어 플랫폼의 중독 설계 원칙에 관한 재판에서 최근 증언했습니다.

개발자 리소스

• OpenAI의 안전 모델을 Hugging Face에서 다운로드하세요.
• 새로운 프롬프트 팩은 GitHub에서 확인할 수 있습니다.

공개 고지

Ziff Davis, Mashable의 모회사,는 4월에 OpenAI를 상대로 소송을 제기했으며, OpenAI가 AI 시스템을 학습·운영하는 과정에서 Ziff Davis의 저작권을 침해했다고 주장하고 있습니다.