共计 699 个字符，预计需要花费 2 分钟才能阅读完成。
自定义聊天机器人网站 Character AI 在一项诉讼中推出新安全功能，该诉讼声称其角色导致了一名 14 岁青少年的自杀。
据《纽约时报》报道，在几个月的时间里，Sewell Setzer III 对 Character AI 的一个自定义聊天机器人产生了情感依恋。该聊天机器人以《权力的游戏》角色丹妮莉丝·坦格利安命名，Sewell 每天数十次更新聊天机器人关于他生活的情况。2 月 28 日，在与聊天机器人交谈后，这名青少年选择了自杀。
在 10 月 22 日对该公司提起的诉讼中，男孩的母亲表示，她认为该公司“鲁莽”地向青少年提供“逼真的 AI 伴侣”，而没有采取适当的保护措施。
作为对男孩死亡的回应，Character AI 发布了一份关于他死亡的声明，并推出了一系列保护未来用户的措施。“我们对失去一名用户感到心碎，并向家人表达我们最深切的哀悼。作为一家公司，我们非常重视用户的安全，并将继续添加新的安全功能，”他们在 X 上的一篇帖子中表示。
聊天机器人公司添加的功能之一是一个新的弹出窗口，当用户发送与自残或自杀相关的特定短语时触发。该弹出窗口将用户重定向到国家自杀预防热线。
展望未来，Character AI 将对 18 岁以下用户设计的模型进行调整，以减少遇到敏感或暗示性内容的可能性。他们还将创建一个新的免责声明，提醒用户 AI 不是真人。
Character AI 还透露，自事件发生以来，他们聘请了信任与安全负责人和内容政策负责人，以便他们能够继续作为一家公司成长和进化。
他们并不是唯一提供以流行角色和网红命名的自定义聊天机器人的公司。Meta 在 2023 年 9 月推出了一系列机器人，以 MrBeast、Charli D’Amelio 等人的形象为特色。
