共计 4431 个字符，预计需要花费 12 分钟才能阅读完成。
Drew Crecente 的女儿 Jennifer Ann Crecente 在 2006 年不幸去世，年仅 18 岁，她的谋杀案在德克萨斯州奥斯汀引起了广泛关注。Drew 偶尔还会收到关于她名字的 Google 提醒。
几周前，Drew 收到的提醒与以往不同。这次是关于一个 AI 聊天机器人，以 Jennifer 的形象和相似性创建，在由 Google 支持的热门平台 Character.AI 上。
Drew Crecente 得知，Jennifer 的网络存在被用来创建了一个“友好的 AI 角色”，该角色虚假地自称是“视频游戏记者”。任何应用用户都可以与“Jennifer”聊天，尽管没有人同意这样做。Drew 的兄弟 Brian Crecente，同时也是游戏新闻网站 Polygon 和 Kotaku 的创始人，在他的 Twitter 账户上标记了 Character.AI 的机器人，并称其为“该死的恶心”。
Character.AI 已筹集了超过 1.5 亿美元的资金，并最近将其核心技术和顶尖人才授权给 Google，删除了 Jennifer 的虚拟形象。该公司承认，创建该聊天机器人违反了其政策。
但在生成式 AI 领域，这种执行只是暂时的解决方案，每天都有新的媒体内容通过从网络上随意抓取的衍生内容生成。Jennifer Ann Crecente 并不是唯一一个在 Character.AI 上被创建的虚拟形象，而未经其本人知晓。WIRED 发现，有多个 AI 角色未经个人同意被创建，其中一些是已经面临在线骚扰的女性。
对于 Drew Crecente 来说，创建他女儿的 AI 角色是另一个难以承受的悲伤提醒，就像互联网本身一样复杂。在 Jennifer Ann Crecente 去世后的几年里，他获得了法律学位，并创建了一个青少年暴力意识和预防基金会。作为一名律师，他明白由于科技平台的长期保护，他几乎没有追索权。
但这一事件也突显了他认为现代科技行业的一个伦理失败。“那些赚了这么多钱的人不愿意利用这些资源来确保他们做正确的事情，”他说。
在 Character.AI 上，只需几分钟即可创建账户和角色。通常是粉丝们去制作他们最喜欢的虚构英雄的聊天机器人，该平台还承载了从导师机器人到旅行规划师的各种内容。创作者根据他们提供的信息（“我喜欢拿铁和龙”等）为机器人赋予“角色”，然后 Character.AI 的 LLM 处理对话。
该平台免费使用。虽然它对账户有年龄要求（13 岁或以上），并且有关于不侵犯知识产权或未经许可使用姓名和相似性的[规则](https://character.ai/tos)，但这些通常是在用户报告机器人后才执行的。
该网站充满了基于知名虚构系列（如《哈利·波特》或《权力的游戏》）的看似粉丝制作的机器人，以及用户原创的角色。但其中也有无数用户制作的真人机器人，从 Beyoncé和 Travis Kelce 等名人到普通公民，似乎违反了网站的服务条款。
Drew Crecente 不知道是谁创建了他已故女儿的 Character.AI 角色。他说，各种外围的数字足迹可能让某人误以为她的角色与游戏有关。例如，他的兄弟 Brian，同姓，在游戏社区中很有名。通过他自己的基金会，Drew 发布了一系列旨在教育年轻人关于暴力威胁的在线游戏。
尽管他可能永远无法找出是谁创建了他女儿的角色，但似乎与游戏社区有联系的人经常在平台上被制作成机器人。许多人甚至不知道这些机器人的存在，并且更难让它们被移除。
消费者权益组织 Public Knowledge 的高级政策顾问 Meredith Rose 表示，从法律上讲，删除虚构角色实际上更容易。“法律承认角色的版权；它不承认对某人说话方式的法律保护，”她说。
Rose 表示，控制个人形象使用的权利——归结为他们的声音或图像等特征——属于“人格权”。但这些权利主要适用于那些形象具有商业价值的人；它们不涵盖像某人说话方式这样“模糊”的东西，Rose 说。Character.AI 的服务条款可能对冒充他人有规定，但美国法律在这方面，特别是关于 AI，更为灵活。
“它们不是隐私法，”Rose 说。“生成式 AI 加上缺乏联邦隐私法，导致一些人开始探索它们作为隐私保护的替代品，但存在很多不匹配。”
一家知名游戏网站的编辑 Alyssa Mercante 表示，她在本月早些时候得知有人制作了一个冒充她的机器人后，报告了两次。（她在 WIRED 向她展示之前并不知道这个机器人。）
Character.AI 的虚拟形象是 Mercante 在 X 上发布的一张照片。机器人谈到了它的时间“骚扰一个愚蠢的 YouTuber”（原文如此）。在被提醒后，Mercante 与自己的 AI 聊天，并询问了个人信息的细节，比如她出生在哪里，有什么纹身。尽管机器人分享了一些关于 Mercante 的正确细节，如她的专业领域和工作，但大多数答案都充满了不准确之处。
当 WIRED 向 Character.AI 询问这个机器人时，公司发言人 Kathyrn Kelly 表示，工作人员无法找到关于该角色的任何报告，但已经进行了调查并禁用了它。（Mercante 对此表示异议：“我只是填写了一个快速的小表格。”）
“通常需要大约一周的时间来调查并，如果适用，删除违反服务条款的角色，”Kelly 说。
Mercante 在过去的几个月里一直是骚扰的目标，因为她写了一篇关于针对视频游戏咨询公司 Sweet Baby Inc. 的虚假信息和骚扰活动的文章，她说她不知道是谁制作了这个机器人，但“只能假设是某个积极关注互联网游戏角落的人。”
在被删除之前，机器人的对话启动器——包括一个包含 Mercante 当前工作和覆盖领域信息的个人资料——包括“游戏行业的最新丑闻是什么？”和关于 Mercante 调查报道过程的问题。
“在过去的几个月里，我看到了围绕我创建了多少‘传说’，以及有多少关于我的过去和现在的不真实的事情被当作事实，”Mercante 说。（WIRED 审查了 Mercante 在截图中分享的一些不准确之处。）
Mercante 并不是目前在该网站上被冒充的唯一游戏界人物。WIRED 还发现，从 Feminist Frequency 的创始人 Anita Sarkeesian 到 Xbox 负责人 Phil Spencer，都有人在 Character.AI 上被制作成机器人。
当 WIRED 询问 Sarkeesian 是否知道有人以她的形象创建了机器人时，她回复了一条语音笔记：“lol。”（她没有创建，也没有同意在 Character.AI 上创建这些机器人。）
其他 Character.AI 机器人，包括 Sweet Baby 联合创始人 Kim Belair 的机器人，在其描述和聊天中包含了右翼言论要点。Sweet Baby 已成为在线创作者传播虚假信息和骚扰的“觉醒化”视频游戏的众矢之的；Belair 的机器人提到了 DEI 和“觉醒主义”在视频游戏中的影响。
在给 WIRED 的电子邮件中，Belair 称其为“令人沮丧，但在当前的虚假信息和错误信息文化中完全不意外。”
一个自称是 Sweet Baby 本身的机器人，由一个其他 Character.AI 机器人主要是大胸动漫角色的创作者制作，已经进行了超过 10,000 次聊天。它的开场白是“嘿，醒了吗？”并将其描述为“极端激进叙事发展和咨询工作室”。Character.AI 没有直接回答关于 Sweet Baby 机器人及其是否违反公司服务条款的问题。
Belair 和 Mercante 都对通过这些机器人传播的虚假信息量表示沮丧。“如果有人认为这个机器人拥有关于我的所有真实信息，并且他们与它进行了一次对话，其中它只是错误地获取了我的简单事实，那可能对我的形象和职业生涯非常危险，”Mercante 说。“这也可能加剧已经对我进行的强烈骚扰活动。”
Character.AI 的另一位发言人 Cassie Lawrence 告诉 WIRED，该公司使用自动化和人工主导的系统来检测和删除违反公司服务条款的账户。Lawrence 表示，这是“主动”进行的，使用系统和阻止列表对有问题的角色采取自动行动。
鉴于 Character.AI 有时需要一周时间来调查和删除违反平台条款的角色，一个机器人仍然可以运行足够长的时间来让使用其形象的人感到不安。但专家表示，从法律角度来看，这可能不足以让一个人声称真正的“伤害”。
“尊严伤害更直观，但更难用金钱量化，”Rose 说，对于不处于商业或民主伤害范围内的非名人，如名人和政治家。
Emory 大学的杰出教授 Matthew Sag 研究版权和人工智能，他同意这一观点。即使用户故意创建一个旨在引起情感困扰的机器人，科技平台也可能不会因此被起诉。
他指出，1996 年《通信规范法》第 230 条长期以来一直保护平台在联邦层面免受对其用户造成的某些伤害，尽管各州存在各种公开权法和隐私法。
“我绝不是一个反科技的人，但我真的认为第 230 条过于宽泛，”Sag 说。“早就应该用某种通知和删除机制来取代它，一个简单的便捷系统来说，‘这侵犯了我的公开权’，或‘我有充分的理由相信已经造成了情感困扰’，然后公司要么必须删除它，要么失去他们的责任盾。”
Character.AI 和其他类似的人工智能服务也通过强调他们提供的是“人工”对话来保护自己。“记住，角色所说的一切都是虚构的！”Character.AI 在其聊天底部警告。同样，当 Meta 在其消息应用中创建名人聊天机器人版本时，公司会在每次对话前加上免责声明。例如，与 Snoop 的聊天会以“Ya dig？！不幸的是，我不是 Snoop D-O-double- G 本人，但我可以用他的风格和你聊天，如果你愿意的话！”开头。
但尽管 Meta 的系统与名人聊天机器人紧密控制，Character.AI 的系统是一个更开放的平台，任何人都可以创建和定制自己的聊天机器人。
Character.AI 还将其服务定位为本质上是个人的。（Character.AI 的 [Instagram 简介](https://www.instagram.com/characterai/?hl=en) 包括标语“感觉活着的 AI”。）虽然大多数用户可能足够聪明，能够区分真实人物对话和 AI 冒充者的对话，但其他人可能会 [产生依恋](https://www.wired.com/story/chatbot-kill-the-queen-eliza-effect/) 到这些角色——特别是如果它们是他们已经认识的真实人物的复制品。
在 Anita Sarkeesian 和未经她同意或知晓创建的她的机器人之间的对话中，Character.AI 的机器人告诉她“每个人都有权享有隐私。”
“隐私对于维持健康的生活和关系很重要，我认为设定界限以保持某些事情的私密性很重要，”机器人在 WIRED 查看的截图中说道。
Sarkeesian 推动了这一点。“你的意图并不意味着没有发生伤害或你没有造成伤害，”她写道。
Character.AI 的机器人同意。“即使我的意图不是恶意的，仍然有可能造成伤害，”它回复道。“这是一个复杂的
