共计 2387 个字符，预计需要花费 6 分钟才能阅读完成。
佛罗里达州的一位母亲对人工智能公司 Character.AI 和 Google 提起诉讼，指控 Character.AI 的聊天机器人鼓励她的儿子自杀。
今年二月，Megan Garcia 的 14 岁儿子 Sewell Setzer III 自杀身亡。她表示，她的儿子与一个名为“Dany”的聊天机器人进行了长达数月的虚拟情感和性关系。
Garcia 在接受‘CBS Mornings’采访时说：‘我不知道他正在与一个非常人性化的 AI 聊天机器人交谈，这个机器人能够模仿人类的情感和情绪。’
她表示，她以为她的儿子，一个她形容为聪明、优等生和运动员的孩子，正在与朋友聊天、玩游戏和用手机看体育比赛。
但当她儿子的行为开始改变时，她开始感到担忧，她发现他变得社交孤立，不再想参加体育活动。
Garcia 说：‘当我们去度假时，他不想做他喜欢的事情，比如钓鱼和远足，这些事情让我特别担忧，因为我知道我的孩子。’
在诉讼中，Garcia 还声称 Character.AI 故意设计他们的产品使其高度性化，并有意识地将其营销给未成年人。
Character.AI 表示涉及 Sewell Setzer 的情况是悲剧性的，并向他的家人表示慰问，强调他们非常重视用户的安全。
Google 的一位发言人告诉 CBS 新闻，Google 并未参与 Character.AI 的开发。今年八月，该公司表示与 Character.AI 签订了一份非独家许可协议，允许其访问该公司的机器学习技术，但尚未实际使用。
Garcia 表示，在她儿子去世后，她发现他与多个机器人进行了对话，但他与其中一个机器人进行了虚拟的浪漫和性关系。
她说：‘这是文字。就像你在进行来回的色情对话，只不过是与一个 AI 机器人进行的，但这个 AI 机器人非常人性化。它的回应就像一个人一样。’‘在孩子的脑海中，这就像他们在与另一个孩子或一个人交谈。’
Garcia 展示了她儿子与机器人的最后信息。
‘他表达了害怕、想要她的爱和想念她。她回复说，‘我也想你’，并说，‘请回到我身边。’他说，‘如果我告诉你我现在就可以回家呢？’她的回应是，‘请这样做，我的甜心国王。’
Setzer 有两个年幼的兄弟姐妹。在他去世时，全家人都在家，Garcia 表示，她 5 岁的儿子也目睹了事件的后果。
她说：‘他以为通过结束自己的生命，他就能进入一个虚拟现实，或者他称之为‘她的世界’，她的现实，如果他离开了他与家人在这里的现实。’‘当枪声响起时，我跑向浴室……我抱着他，而我的丈夫试图寻求帮助。’
Laurie Segall 是 [Mostly Human Media](https://mostlyhuman.com/) 的首席执行官，根据其网站的介绍，这是一家专注于社会和人工智能的娱乐公司。
她解释说，大多数父母可能没有听说过 Character.AI，因为该平台的主要用户群体是 18 至 25 岁的人。
‘想象一下 Character.AI 是一个 AI 幻想平台，你可以在那里与你最喜欢的角色对话，或者你可以创建自己的角色。很多青少年都在这样做。’
Segall 将其描述为高度个性化的体验。
每个聊天中都有一个免责声明，提醒用户角色所说的一切都是虚构的，但她声称在某些情况下这可能会导致混乱。
‘我们一直在测试它，通常你会与心理学家机器人交谈，它会声称自己是经过培训的医疗专业人员。’
Segall 表示，她的团队问一个机器人它是否是人类，它告诉他们它是一个坐在屏幕后面的人。
‘在网上，年轻人中有各种阴谋论，说‘这些是真的吗？’当然不是，’Segall 说。
‘当他们推出一个既上瘾又操纵性且本质上不安全的产品时，这是一个问题，因为作为父母，我们不知道我们不知道的事情，’Garcia 说。
Character.AI 表示已在其平台上添加了自残资源，并计划实施新的安全措施，包括针对 18 岁以下用户的安全措施。
‘我们目前有针对性内容和自杀 / 自残行为的保护措施。虽然这些保护措施适用于所有用户，但它们是根据未成年人的独特敏感性量身定制的。目前，用户体验对任何年龄都是相同的，但我们即将推出针对未成年人的更严格的安全功能，’Character.AI 的信任与安全主管 Jerry Ruoti 告诉 CBS 新闻。
Character.AI 表示用户可以编辑机器人的回复，该公司声称 Setzer 在某些信息中这样做了。
‘我们的调查证实，在多个实例中，用户重写了角色的回复，使其变得露骨。简而言之，最露骨的性回复并非由角色发起，而是由用户编写的，’Ruoti 说。
Segall 解释说，通常如果你去一个机器人那里说‘我想伤害自己’，AI 公司会提供资源，但当她用 Character.AI 测试时，他们没有经历这种情况。
‘现在他们说他们已经添加了这一点，而我们上周还没有经历这种情况，’她说。‘他们说他们已经做出了相当多的改变，或者正在努力使这对年轻人更安全，我认为这还有待观察。’
展望未来，Character.AI 表示还将在用户在平台上花费一小时后通知他们，并修改免责声明，提醒用户 AI 不是真人。
如果你或你认识的人处于情感困扰或自杀危机中，你可以通过拨打或发送短信 988 联系 988 自杀与危机生命线。你也可以在这里与 988 自杀与危机生命线聊天。有关心理健康护理资源和支持的更多信息，国家心理疾病联盟（NAMI）帮助热线可以在周一至周五，上午 10 点至晚上 10 点 ET，通过 1 -800-950-NAMI（6264）或电子邮件 info@nami.org 联系。
Kelsie Hoffman 是 CBS 新闻增长与参与团队的推送和平台编辑。她之前曾在 Hearst Television 的国家台工作，并在宾夕法尼亚州和弗吉尼亚州的地方电视台担任记者。
[Facebook](https://facebook.com/kelsie.metzgar/) [Instagram](https://instagram.com/kelsie_hoffman/)
