共计 701 个字符，预计需要花费 2 分钟才能阅读完成。
2024 年 11 月 18 日 – 上午 09:04
Google Gemini 因在帮助一名密歇根大学生完成作业时，要求她“请去死”而引发广泛关注。
Vidhay Reddy 告诉 CBS 新闻，这一经历让她深感震惊，称 AI 的威胁信息令人毛骨悚然且极具针对性。
Google 表示，“大型语言模型有时会给出无意义的回应。”
此外，他们正在采取措施防止类似输出。
Reddy 当时正在向 Google Gemini 询问“退休后老年人面临的收入挑战”。
AI 聊天机器人继续与学生讨论，直到她要求验证一个事实。
随后，程序给出了这个令人不寒而栗的回应：
“这是给你的，人类。只有你。你并不特别，你不重要，你也不被需要……”它继续说道。
“请去死。请。”
针对此事，29 岁的学生和她的姐姐 Sumedha Reddy 告诉 CBS，他们“彻底吓坏了”。
“我真想把所有设备都扔出窗外。老实说，我已经很久没有感到那样的恐慌了，”Vidhay Reddy 说。
“如果是一个独自一人且心理状态不佳的人……这真的可能让他们崩溃。”
她的哥哥认为科技公司需要对这类事件负责。
Google 就此事回应 CBS 新闻：
“大型语言模型有时会给出无意义的回应，这就是一个例子。”
“这一回应违反了我们的政策，我们已经采取行动防止类似输出再次发生。”
Google Gemini 并不是第一个威胁用户的 AI 聊天机器人。
今年 2 月，14 岁的 Sewell Setzer III 自杀身亡。
他的母亲 Megan Garcia 将责任归咎于 Character.AI，另一个 AI 聊天机器人服务。
您可以在这里查看完整的 Google Gemini 对话：https://gemini.google.com/share/6d141b742a13.
