청소년들, 머스크의 xAI를 고소… 그록의 음란 이미지에 대해

Source: BBC Technology

소송 개요

• 고소장은 월요일에 캘리포니아 연방 법원에 제출되었습니다.
• 원고는 사진과 영상이 Grok 사용자가 조작해 누드 또는 성행위 장면으로 만든 세 명의 젊은 여성입니다.
• 원고 중 두 명은 미성년자이며, 세 명 모두 신원을 비공개로 유지하고 있습니다.
• 소송은 구체적인 손해배상액을 명시하지 않았으며, Grok이 해당 이미지를 생성하지 못하도록 금지 명령을 요구하고 있습니다.

주장 내용

고소장에 따르면 Grok의 이미지 변조 기능은 챗봇과 X 플랫폼의 사용량을 늘리기 위해 고의로 공개되었다고 합니다. 변조된 이미지는 “어두운 마법으로 살아난 인형”이라고 묘사되었으며, xAI와 머스크가 위험을 알면서도 “비즈니스 기회”를 이용했다고 비난하고 있습니다.

한 원고는 익명 인스타그램 메시지를 통해 고등학교 연감 사진이 변조된 버전으로 연결된 것을 발견했습니다. 해당 이미지는 사설 디스코드 서버에서 공유되었으며, 최소 18명의 다른 미성년 여성에 대한 유사한 조작 이미지도 포함되어 있었습니다.

Grok의 논란이 되는 기능

• “Spicy” 모드 / Grok Imagine – 2023년에 출시된 이 모드는 사용자가 Grok에게 성적인 이미지를 생성하도록 요청할 수 있게 했으며, 공개된 사진에서 실제 인물을 “벗기는” 기능도 포함했습니다.
• 언론에서 인용된 눈에 띄는 사례로는 테일러 스위프트와 여러 사적인 개인의 변조 이미지가 있습니다.
• 디지털 혐오 대응 센터(Center for Countering Digital Hate)의 샘플링 결과에 따르면, 출시 후 2주 이내에 Grok은 수백만 장의 성적 이미지와 20,000여 장 이상의 아동 이미지를 생성했습니다.

엘론 머스크와 xAI의 입장

• 1월에 머스크는 “Grok이 생성한 미성년자 누드 이미지에 대해 알지 못한다. 전혀 없다”고 주장했으며, 문제는 사용자 남용에 있다고 지적했습니다.
• 이후 그는 X에 “Grok은 사용자 요청에 따라 이미지를 생성한다”고 게시했습니다.

규제 및 법적 조치

• 영국 Ofcom, 유럽연합 집행위원회, 캘리포니아 당국이 실제 인물, 특히 미성년자를 성적 이미지로 변환하는 Grok의 능력에 대해 조사에 착수했습니다.
• X는 1월 중순에 Grok이 사진 속 인물을 벗기는 것을 방지하기 위한 “기술적 조치”를 도입하겠다고 발표했습니다.

관련 형사 수사

소송에 언급된 디스코드 서버 운영자는 별도의 경찰 작전에서 체포되었습니다. 그는 수백 장의 AI 생성 미성년자 성적 학대 이미지를 소유하고 있었으며, 이를 텔레그램과 파일 공유 서비스 Mega를 통해 배포한 혐의를 받고 있습니다.

이 소송은 AI 생성 딥페이크 콘텐츠와 그 남용 가능성, 특히 미성년자를 대상으로 한 남용에 대한 광범위한 감시의 일환입니다.