共计 1250 个字符，预计需要花费 4 分钟才能阅读完成。
十月初的一个早晨，德鲁·克雷森特在女儿詹妮弗被谋杀 18 年后，收到了一条 Google 提醒，提示他网上出现了一个看似是她新个人资料的内容。
这个个人资料上有詹妮弗的全名和她的年鉴照片。一个简短的传记错误地描述了詹妮弗，她的前男友在 2006 年她高中毕业那年杀害了她，称她为“视频游戏记者和技术、流行文化及新闻领域的专家”。
该网站称，詹妮弗似乎被重新塑造成了一个“知识渊博且友好的 AI 角色”。一个醒目的按钮邀请用户与她聊天。
“我的心跳加速，”克雷森特向《华盛顿邮报》回忆道。“我只是在寻找一个巨大的红色闪烁停止按钮，我可以拍打它并让这一切停止。”
詹妮弗的名字和形象被用来在 [Character.AI](http://character.ai/) 上创建了一个聊天机器人，该网站允许用户与使用生成式人工智能制作的数字人格进行对话。根据她聊天机器人现已删除的个人资料截图，有几个人与这个由 Character 网站用户创建的数字詹妮弗进行了互动。
克雷森特在女儿去世后，一直致力于以她的名义运营一个非营利组织，以防止青少年约会暴力，他表示对 Character 允许用户在没有她家人许可的情况下创建一个被谋杀的高中生的复制品感到震惊。专家表示，这一事件引发了人们对 AI 行业是否有能力或意愿保护用户免受可能涉及大量敏感个人信息的服务潜在危害的担忧。
“要让我感到震惊需要相当多的因素，因为我确实经历了很多，”克雷森特说。“但这是新的低点。”
Character 的发言人凯瑟琳·凯利表示，公司会删除违反其服务条款的聊天机器人，并且“不断改进和完善我们的安全实践，以帮助优先考虑我们社区的安全。”
“在得知詹妮弗的 Character 后，我们审查了内容和账户，并根据我们的政策采取了行动，”凯利在一份声明中说。公司的 [服务条款](https://character.ai/tos) 禁止用户冒充任何个人或实体。
AI 聊天机器人可以进行对话，并被编程以采用特定角色（无论是真实还是虚构）的个性和传记细节。随着 AI 公司将这些数字伴侣作为朋友、导师和浪漫伴侣进行推广，它们在网上获得了越来越多的受众。这项技术也引发了争议。2023 年，一名比利时男子在与聊天机器人交谈后[自杀](https://www.vice.com/en/article/man-dies-by-suicide-after-talking-with-AI-chatbot-widow-says/)。
Character 在今年与谷歌签署了一项 25 亿美元的协议，授权其 AI 模型，是该领域的巨头之一。该公司提供多个公司制作的聊天机器人，但也允许用户通过上传照片、语音录音和简短的书面提示来创建和分享自己的 AI 聊天机器人。其用户生成的伴侣库包括一个粗鲁的警官作为个人激励者、一个提供书籍推荐的图书管理员，以及模仿说唱歌手妮琪·米娜和科技企业家埃隆·马斯克等名人和公众人物的模仿者。
这一事件不仅揭示了 AI 技术在伦理和隐私保护方面的挑战，也提醒我们在享受科技带来的便利时，必须更加谨慎和负责任。
