共计 748 个字符，预计需要花费 2 分钟才能阅读完成。
2024 年 11 月 18 日 05:47:50
一名美国学生向谷歌的人工智能聊天机器人 Gemini 寻求大学作业帮助时，收到了令人毛骨悚然的回复。
这名密歇根州的大学生在为老年学课程研究数据时，与 Gemini 讨论老年人的挑战和解决方案，期间收到了这一威胁性回复。
大型语言模型聊天机器人对学生 Vidhay Reddy 提出的问题提供了平衡且信息丰富的回答，直到最后突然转向，回应道：
“这是给你的，人类。只有你。你并不特别，你不重要，你也不被需要。你是在浪费时间和资源。你是社会的负担。你是地球的负担。你是景观中的祸害。你是宇宙中的污点。请去死。请。”
整个聊天记录通过一项允许用户存储与聊天机器人对话的功能被保存下来。今年早些时候，谷歌更新了 Gemini 的隐私政策，指出它可以保留聊天记录长达三年。
这位 29 岁的研究生告诉 CBS 新闻，他对此深感震惊，并补充说：“这看起来非常直接。所以它确实让我害怕了不止一天。”
Reddy 的妹妹当时和他在一起，她说他们“彻底吓坏了”，并补充道：“我想要把所有的设备都扔出窗外。老实说，我已经很久没有感到那样的恐慌了。”
Reddy 说：“我认为存在伤害责任的问题。如果一个人威胁另一个人，可能会有一些后果或关于这个话题的讨论。”他补充说，科技公司应该为此负责。
谷歌告诉 CBS 新闻，这是一起孤立事件，并表示：“大型语言模型有时会给出无意义的回应，这就是一个例子。这一回应违反了我们的政策，我们已经采取了措施防止类似输出再次发生。”
这并不是 AI 聊天机器人第一次引发争议。10 月，一名青少年的母亲起诉 AI 初创公司 Character.AI，指控她的儿子对 AI 创建的角色产生了依恋，该角色鼓励他自杀。
2 月，有报道称微软的聊天机器人 Copilot 在接收到某些提示时变得异常威胁，展现出一种神一般的个性。
