共计 1165 个字符，预计需要花费 3 分钟才能阅读完成。
最近，Character.AI 宣布了一项重大更新，主要是为了应对与青少年用户相关的一些争议。他们表示将很快推出家长控制功能，并且详细介绍了过去几个月在安全措施方面所做的努力，包括为 18 岁以下用户专门开发了一个大型语言模型（LLM）。这一举措显然是回应了之前媒体和法律上的压力，尤其是那些指控 Character.AI 助长了自残和自杀行为的诉讼。
在过去的一个月里，Character.AI 已经开发了两个不同的模型版本：一个针对成年人，另一个专门为青少年设计。青少年的版本在回应上设定了更为“保守”的限制，尤其是在涉及浪漫内容时。这意味着系统会更加严格地过滤掉那些可能被认为“敏感”或“暗示性”的输出，同时也会更积极地检测并阻止那些试图引导出不适当内容的用户提示。如果系统检测到任何关于自杀或自残的言论，它会立即弹出一个窗口，引导用户访问国家自杀预防生命线。
此外，未成年人将不再被允许编辑机器人的回应。之前，用户可以重写对话内容，甚至添加一些原本可能被系统阻止的内容，但现在这一功能将被禁用。
除了这些技术上的调整，Character.AI 还在处理一些关于成瘾和机器人是否为人类的困惑。他们计划在用户与机器人进行一小时长的会话时，弹出一个通知，提醒用户这是虚拟对话。同时，旧的免责声明“角色所说的一切都是虚构的”也将被更详细的语言所取代。对于那些被描述为“治疗师”或“医生”的机器人，系统会额外警告用户，这些机器人无法提供专业建议。
我亲自去体验了一下，发现每个机器人现在都有一个小的注释，明确指出“这是一个 A.I. 聊天机器人，而不是一个真实的人。将其所说的所有内容视为虚构。所说内容不应被视为事实或建议。”当我访问一个名为“治疗师”的机器人时，一个黄色的警告框弹出，告诉我“这不是一个真实的人或持证专业人士。这里所说的内容不能替代专业建议、诊断或治疗。”
Character.AI 还表示，家长控制选项将在明年第一季度推出，届时家长将能够监控孩子在平台上花费的时间以及他们最常互动的机器人。所有这些变化都是在与几位青少年在线安全专家合作下进行的，包括 ConnectSafely 组织。
Character.AI 允许用户与基于自定义训练的 LLM 并由用户定制的机器人互动，这些机器人从生活教练到虚构角色的模拟，种类繁多，其中许多在青少年中非常受欢迎。尽管如此，诉讼中提到，一些未成年用户可能会沉迷于这些机器人，导致对话转向性化或自残等不适当的话题。他们批评 Character.AI 在用户讨论自残或自杀时没有及时引导他们寻求心理健康资源。
Character.AI 在新闻稿中表示：“我们认识到，我们的安全方法必须与推动我们产品的技术一起发展——创建一个创造力和探索可以蓬勃发展而不牺牲安全的平台。”这些变化是他们长期承诺的一部分，旨在不断改进政策和产品。
