OctoML 表示，在404 Media的调查显示该文本转图像平台被用来生成“可能被归类为儿童色情内容”的图像几天后，该公司已终止与 Civitai 的业务关系。 Civita 之前依赖 OctoML 的 OctoAI 进行图像生成。虽然 OctoML 最初表示将继续与 Civitai 合作，并推出新措施来遏制有害图像的创建，但404 Media周六报道称，它现已决定完全切断与该平台的联系。
根据404 Media 12 月 5 日的报道，内部通讯显示，OctoML 知道一些 Civita 用户正在制作露骨的色情材料，其中包括未经同意的真人图像 以及对儿童的色情描写。在本周末的后续报道中，该出版物指出，OctoML 推出了一个过滤器，以阻止在 Civitai 上生成所有 NSFW 内容，然后宣布决定退出。据404报道，Civita 还针对本周早些时候的调查添加了新的审核方法，包括名为 Civitai Safe Helper（未成年人）的强制嵌入，如果“检测到成熟的主题或关键字”，该模型将禁止模型生成儿童图像。
安德森·霍洛维茨 (Andreessen Horowitz) 支持的 Civita 此前曾因其“赏金”功能而受到审查，该功能要求用户生成真实人物的真实图像以获得奖励。 11 月， 404 Media发现它被用来对名人、影响者甚至普通公民进行未经同意的深度伪造，这些伪造在许多情况下具有性性质。受试者主要是女性。据404 Media报道，Civitai 此后添加了一个过滤器，以防止创建以“某些”名人为主角的 NSFW 内容。
然而，使用 Amazon Web Services 服务器的 OctoML 不再想参与其中。在周六给404 Media的一份声明中，OctoML 表示：“我们决定终止与 Civitai 的业务关系。这一决定符合我们确保安全和负责任地使用人工智能的承诺。”
本文最初发表在 Engadget 上：https://ift.tt/Askgi0y