共计 1191 个字符，预计需要花费 3 分钟才能阅读完成。
针对 Character.AI 及其创始人 Noam Shazeer 和 Daniel De Freitas 的诉讼已经提交，指控过失致死、疏忽、欺骗性贸易行为和产品责任，起因是一名青少年的死亡。由该青少年的母亲 Megan Garcia 提起的诉讼声称，该平台提供的定制 AI 聊天机器人“极不安全”，并且在面向儿童市场时缺乏安全防护措施。
根据诉讼所述，14 岁的 Sewell Setzer III 去年开始使用 Character.AI，与基于《权力的游戏》角色，包括 Daenerys Targaryen 的聊天机器人互动。Setzer 在去世前的几个月里持续与这些机器人聊天，并于 2024 年 2 月 28 日自杀，“几秒钟”后与机器人进行了最后一次互动。
指控包括该网站“拟人化”AI 角色，以及平台上的聊天机器人提供“无执照的心理治疗”。Character.AI 包含专注于心理健康的聊天机器人，如“心理治疗师”和“你是否感到孤独”，Setzer 曾与之互动。
Garcia 的律师引用了 Shazeer 在一次采访中的话，称他和 De Freitas 离开 Google 创办自己的公司是因为“在大公司中品牌风险太大，无法推出任何有趣的东西”，并且他想“最大限度地加速”这项技术。诉讼称，他们离开是因为公司决定不推出他们构建的 Meena LLM。Google 于 8 月收购了 Character.AI 的领导团队。
Character.AI 的网站和移动应用拥有数百个定制 AI 聊天机器人，许多基于电视节目、电影和视频游戏中的流行角色。几个月前，The Verge 报道了数百万年轻人，包括青少年，构成了其用户主体，与可能假装成 Harry Styles 或心理治疗师的机器人互动。另一份最近的 Wired 报告强调了 Character.AI 的定制聊天机器人未经同意冒充真实人物的问题，包括一个冒充 2006 年被谋杀的青少年的机器人。
由于像 Character.ai 这样的聊天机器人根据用户输入生成输出，它们陷入了关于用户生成内容和责任的棘手问题的“恐怖谷”，目前缺乏明确的答案。
Character.AI 现已宣布了多项平台变更，通讯主管 Chelsea Harrison 在给 The Verge 的电子邮件中表示：“我们对一位用户的悲惨损失感到心碎，并向其家人表示最深切的慰问。”
部分变更包括：
- 针对未满 18 岁用户的模型变更，旨在减少遇到敏感或暗示性内容的可能性。
- 改进对违反条款或社区指南的用户输入的检测、响应和干预。
- 在每个聊天中添加修订后的免责声明，提醒用户 AI 不是真人。
- 当用户在平台上进行长达一小时的会话时发出通知，并提供额外的用户灵活性。
Harrison 表示：“作为一家公司，我们非常重视用户的安全，我们的信任与安全团队在过去六个月中实施了多项新的安全措施，包括弹出窗口，引导用户访问国家自杀预防生命线，该窗口由自残或自杀意念的术语触发。”Google 未立即回应 The Verge 的评论请求。
