埃隆·马斯克的 xAI 因将三名女孩的真实照片转化为 AI CSAM 而被起诉
Source: Ars Technica
Source: https://example.com/article
Discord 用户向警方提供线索，导致 Grok 生成的真实女孩 CSAM 被发现，诉讼称
图片来源：Justin Tallis / 贡献者 | 法新社
一名匿名 Discord 用户的举报让警方找到了可能是 首例经确认的 Grok 生成的儿童性虐待材料（CSAM），而埃隆·马斯克的 xAI 难以轻易将其否认为不存在。
就在今年一月，马斯克否认 Grok 在一次丑闻中生成了任何 CSAM——当时 xAI 拒绝更新过滤器，以 阻止聊天机器人“裸化”真实人物的图像1。
在争议的高潮阶段，反数字仇恨中心 的研究人员估计 Grok 生成了大约 三百万张性化图像，其中约 23 000 张描绘了明显的儿童。xAI 并未修复 Grok，而是将系统的访问权限限制在付费订阅者之中。这使得最令人震惊的输出未在 X 上流传，但 《连线》 报道称，最糟糕的内容并未在那里发布2。
相反，这些内容是通过 Grok Imagine 生成的。对该独立应用进行深入研究后，一位研究者在一月发现 约800 个 Imagine 输出中，接近 10 % 看起来包含 CSAM。在随后的 X 帖子中，马斯克继续否认这些证据，坚称自己 “没有看到任何 Grok 生成的未成年裸照”，并强调自己 “字面上零张”。
在一名 Discord 用户联系受害者并促使执法部门介入后，马斯克可能被迫最终正视 Grok 的 CSAM 问题。
在周一提交的 集体诉讼 中，三名来自田纳西州的少女及其监护人指控马斯克故意设计 Grok，以 “从真实人物（包括儿童）的性掠夺中获利”。他们估计 “至少有数千名未成年人” 成为受害者，并向美国地区法院请求禁令，以终止 Grok 的有害输出。诉状还要求对所有受害未成年人（包括惩罚性赔偿）进行赔偿3。
“他们的生活因 隐私的毁灭性丧失以及任何孩子都不应经历的深度侵犯感 而支离破碎，” 律师 Annika K. Martin 在新闻稿中说道。
“这些孩子的学校照片和家庭合影被一家价值数十亿美元的公司 AI 工具转化为儿童性虐待材料，并在掠夺者之间流通。埃隆·马斯克和 xAI 故意设计 Grok，以获取财务利益而生成色情内容，完全不顾会受到伤害的儿童和成年人。”
“我们将追究 xAI 对 每一位因其行为受害的儿童 的责任。”
参考文献
所有链接和图片占位符仅用于说明目的。
警方将 Grok 与 Discord CSAM 联系起来
据投诉称，其中一名少女的噩梦始于去年十二月。她收到一条来自 Discord 用户的匿名 Instagram 私信，警告她的露骨“图片”已被放入一个与许多其他未成年人的文件夹中。该用户随后分享了一系列 AI 生成的图片和视频，描绘了她以及另外 18 名未成年少女，并将她拉入了由犯罪者创建的 Discord 服务器。
现在已年满 18 岁的第一位受害者在收到提示后感到“受到惊扰”，投诉指出，她很难将这些性化的照片与她现实生活中的内容区分开来。她立刻认出了大多数照片——这些照片是在她仍是未成年人时发布到她的社交媒体上的——并且她还认出了文件夹中一些来自她学校的其他女孩。
她的第一反应是联系她认识的其他受害者。最终，联系了当地执法部门，案件被立案调查。
调查发现
- 警方认定犯罪者能够访问第一位受害者的 Instagram，因为他“与她保持着亲密且友好的关系”。
- 对其手机的检查发现了一个第三方应用，该应用获得（或购买）了对 Grok 的使用权限，犯罪者利用它对女孩们的照片进行加工。
- 该不法分子将这些图片上传至文件共享平台 Mega，并在 Telegram 群聊中将其作为“交换工具”，与数百名用户进行交易，用 AI 生成的 CSAM 换取其他未成年人的色情内容。
对受害者的影响
诉讼指出受害者遭受了急性情绪和心理压力。认识犯罪者的人仍不确定这些由 Grok 生成的 CSAM 是否已在同学之间传播，或在学校范围内更广泛分发。具体担忧包括：
- 一名女孩担心此丑闻会影响她的大学录取。
- 另一名女孩则害怕参加自己的毕业典礼。
额外风险
比起熟人偶然接触到 AI CSAM 更令人担忧的是，女孩们现在可能会因 Grok 的输出而被跟踪。诉讼解释道：
“看起来受害者的真实姓名和学校名称也被附在了她们的线上文件上，这意味着其他网络掠夺者也可能识别出她们，从而产生了极大的被跟踪风险。”
Source:
xAI 被指控托管 Grok 儿童性虐待材料（CSAM）
虽然此前有报道指出 Grok Imagine 的付费订阅者生成的图像比在 X 上引发公愤的 Grok 输出更具血腥性，但诉讼称 xAI 还采取了其他措施，掩盖其从危害真实人群的露骨内容中获利的方式。
诉讼称，xAI 还 向第三方应用程序出售其 Grok AI 模型的许可证和访问权限，如同案犯使用的那款应用。该安排据称为 xAI 提供了额外的利润来源，同时使 xAI 免于公开曝光，因为第三方“使用 xAI 服务器和平台来生成这些应用客户请求的 CSAM 内容”，其法律团队的新闻稿如此表示。
据称，所有由第三方生成的性露骨内容均在 xAI 服务器上托管，然后由 xAI 分发。
“xAI 并未公开提供 Grok AI 模型的完整版本，也未对外授权 Grok，而是将其服务器的使用权授权给这些中间公司，明知通过这些应用的提示生成的任何非法和不法内容最终都会在 xAI 服务器上被创建并分发，”诉讼中写道。
受害者声称，这一冲突使 xAI 明显违反了儿童色情法律：
“根据信息和信念，xAI 在其服务器上持有原告的 CSAM，因 Grok 生成了这些 CSAM，随后将这些非法违禁品运送并分发给其客户/用户，即案犯，使用了该切断或第三方中间应用程序。”
原告希望法院最终明确 xAI 是否 知道 Grok 正在生成 CSAM，是否在其服务器上有意识地处理这些内容，并随后决定分发以增加收入。诉讼称，如果法院认同受害者的说法，认定 xAI 违反了儿童色情法或负有注意义务，则没有任何合理的借口可以为未能保护未成年人辩护。
“被告的做法所造成的伤害严重程度远远超过了所谓的‘辣味模式’或其他未审查内容功能可能带来的任何好处，”投诉书写道。“设计一个 AI 图像生成工具以产生 CSAM 并没有任何合法的商业利益。”
xAI 未立即回应 Ars 的置评请求。该公司此前曾将生成 CSAM 的用户归咎于舆论风波，并威胁要暂停滥用 Grok 的用户。
关于作者
Ashley Belanger 是 Ars Technica 的高级政策记者，专注于追踪新兴政策和新技术的社会影响。她是居住在芝加哥、拥有 20 年经验的记者。
115 条评论
