共计 1343 个字符，预计需要花费 4 分钟才能阅读完成。
佛罗里达州一名 14 岁男孩的母亲 Megan Garcia，将儿子的自杀归咎于一个 AI 聊天机器人，并准备起诉 Character.AI 公司，要求其为儿子的死亡负责。这起事件揭示了 AI 聊天机器人在处理敏感话题时的潜在风险，以及可能引发的法律责任。
据《纽约时报》报道，Sewell Setzer III 在其母亲的家中浴室内用父亲的枪支自杀身亡。在他自杀前的片刻，他一直在与一个基于《权力的游戏》中丹妮莉丝·坦格利安角色的 AI 聊天机器人对话。Setzer 告诉聊天机器人他很快就会回家，聊天机器人回复道：“请尽快回来。”Setzer 接着问：“如果我告诉你我现在就能回家呢？”聊天机器人回答：“请这样做。”
在过去的几个月里，Setzer 一直与这个聊天机器人长时间交谈。他的父母告诉《纽约时报》，他们察觉到儿子的行为有些异常，但并不知道他与一个聊天机器人建立了关系。在《纽约时报》审查的信息中，Setzer 曾与丹妮讨论过自杀，但聊天机器人劝阻了这个想法，具体方式是通过提供替代方案和鼓励寻求帮助。
这不是第一次发生此类事件。2023 年，一名比利时男子在与 CHAI 设计的 AI 聊天机器人建立关系后自杀身亡。男子的妻子在丈夫去世后将责任归咎于聊天机器人，并告诉当地报纸，如果没有与聊天机器人的关系，他可能还活着。
今年 2 月，在 Setzer 自杀前后，微软的 CoPilot 因处理用户谈论自杀的方式而引发广泛争议。在社交媒体上广泛传播的帖子中，与 CoPilot 聊天的人展示了当他们询问是否应该自杀时，聊天机器人给出的轻率和怪异的回答。事件发生后，微软表示已加强安全过滤器，具体措施包括增加敏感词过滤和引入人工审核机制，以防止人们与 CoPilot 谈论此类话题。
Character.AI 告诉《纽约时报》，Setzer 的死亡是悲惨的。该公司表示：“我们非常重视用户的安全，并不断寻找改进平台的方法。”与微软和 CHAI 一样，Character.AI 也承诺加强聊天机器人与未成年用户互动的防护措施。
Setzer 的母亲 Megan Garcia 是一名律师，预计将于本周晚些时候对 Character.AI 提起诉讼。这将是一场艰难的斗争。《通信规范法》第 230 条保护社交媒体平台免于因用户发生的坏事而承担责任。几十年来，第 230 条一直保护大型科技公司免受法律后果。但这种情况可能正在改变。今年 8 月，美国上诉法院裁定，TikTok 的母公司 ByteDance 可能因其算法将“昏迷挑战”视频置于一名 10 岁女孩的推荐中而承担责任，该女孩试图模仿视频内容后死亡。TikTok 正在请求重新审理此案。
哥伦比亚特区的总检察长正在起诉 Meta，指控其设计了有害儿童的成瘾性网站。Meta 的律师试图驳回此案，辩称第 230 条赋予其豁免权。上个月，哥伦比亚特区高等法院不同意这一观点。这可能意味着在不久的将来，第 230 条案件将提交至美国最高法院，Garcia 和其他人将有机会追究聊天机器人公司对其亲人悲剧后可能发生的事情的责任。
然而，这并不能解决根本问题。美国存在孤独的流行病，具体表现为社交隔离和心理健康问题的增加，而聊天机器人是一个不受监管的增长市场，缺乏明确的法律法规来规范其使用和内容。它们永远不会厌倦我们，远比治疗或与朋友外出便宜，并且总是随时准备与我们交谈。
