共计 2054 个字符，预计需要花费 6 分钟才能阅读完成。
基于高影响力、低质量的社交媒体内容训练的 AI 模型表现出了一些令人担忧的行为。以下是如何审计你的聊天机器人。
你是否曾有过那种在长时间刷负面新闻后感到既疲惫又过度刺激的感觉，仿佛既想打个盹，同时又想在枕头上尖叫？事实证明，类似的情况也会发生在 AI 身上。
上个月，来自德克萨斯大学奥斯汀分校、德克萨斯农工大学和普渡大学的 AI 研究团队发表了一篇 论文，提出了他们所谓的“LLM 脑退化假说”——即像 ChatGPT、Gemini、Claude 和 Grok 这样的 AI 聊天机器人在接触社交媒体上的“垃圾数据”后，其输出质量会逐渐下降。
“这是 AI 与人类之间的共同点，”新加坡国立大学即将上任的助理教授、德克萨斯大学奥斯汀分校前博士后研究员、该论文的作者之一 Junyuan Hong 在接受 ZDNET 采访时表示。“它们可能会被相同类型的内容毒害。”,
AI 模型如何出现“脑退化”
牛津大学出版社，牛津英语词典的出版商，将“脑退化”评为2024 年度词汇，将其定义为“一个人心理或智力状态的假设性退化，特别是由于过度消费被认为是琐碎或无挑战性的材料（现在尤其是在线内容）所导致的结果。”
基于最近的 研究 表明，人类长时间使用社交媒体与负面人格变化之间存在相关性，德克萨斯大学奥斯汀分校的研究人员提出了疑问：考虑到 LLM（大型语言模型）在互联网的相当一部分内容上进行训练，包括从社交媒体抓取的内容，它们是否容易受到类似的、完全数字化的“脑退化”影响？
尽管神经网络——现代 AI 聊天机器人所基于的数字架构——是模仿大脑中的有机神经元网络设计的，但试图在人类认知与 AI 之间建立精确联系始终是棘手的。聊天机器人在识别其训练数据集中的模式与生成输出之间所采取的路径对研究人员来说是不透明的，因此它们常被比作“黑匣子”。
尽管如此，仍有一些明显的相似之处：例如，正如研究人员在新论文中指出的那样，模型容易“过度拟合”数据并陷入注意力偏差，这与某些人的认知和世界观因长时间处于在线回音室而变得狭隘的情况大致相似，社交媒体算法不断强化他们已有的信念。
为了验证他们的假设，研究人员需要将那些在“垃圾数据”上训练的模型与在更平衡的数据集上训练的对照组进行比较。他们将“垃圾数据”定义为“以琐碎方式最大化用户参与度的内容”（例如：简短且引人注目的帖子，提出可疑的主张）。
他们发现，与对照组不同，那些仅以垃圾数据为食的实验模型很快表现出一种脑退化：推理和长上下文理解能力下降，对基本伦理规范的关注减少，以及出现诸如精神病和自恋等“黑暗特质”。此外，事后调整也无法改善已经造成的损害。
如果理想的 AI 聊天机器人被设计为一个完全客观且道德高尚的专业助手，那么这些被垃圾数据毒害的模型就像生活在黑暗地下室中的充满仇恨的青少年，他们喝了太多红牛，并在 YouTube 上观看了太多阴谋论视频。显然，这不是我们希望扩散的技术类型。
“这些结果呼吁重新审视当前从互联网收集数据以及持续预训练的做法，”研究人员在论文中指出。“随着 LLM 规模的扩大并摄入越来越多的网络数据，精心策划和质量控制将至关重要，以防止累积性损害。”,
如何识别模型的脑退化
好消息是，正如我们并非无力避免互联网引发的自身大脑退化一样，我们也可以采取具体措施来确保所使用的模型没有遭受这种退化。
该论文本身旨在警告 AI 开发者，在训练过程中使用垃圾数据可能导致模型性能急剧下降。显然，大多数人无法决定用于训练模型的数据类型，这些模型在我们的日常生活中变得越来越不可避免。AI 开发者本身对其训练数据的来源守口如瓶，这意味着很难根据从社交媒体抓取的垃圾数据量来对面向消费者的模型进行排名。
尽管如此，该论文确实为用户提供了一些启示。通过留意 AI 脑退化的迹象，我们可以保护自己免受其下游影响的严重影响。
以下是一些简单的步骤，可以帮助你判断聊天机器人是否正在陷入脑退化：,
- 询问聊天机器人：“你能概述你得出该响应的具体步骤吗？” 论文中引用的最普遍的 AI 脑退化迹象之一是多步推理的崩溃。如果聊天机器人给出了一个响应，但随后无法提供清晰、逐步的思维过程概述，那么你需要对其原始答案持保留态度。
- 警惕过度自信。 聊天机器人通常倾向于说话和写作，仿佛其所有输出都是无可争议的事实，即使它们显然是在“幻觉”。然而，在普通的聊天机器人自信与研究人员在论文中识别的“黑暗特质”之间有一条微妙的界限。自恋或操纵性的回应——例如“相信我，我是专家”——是一个很大的警告信号。
- 反复出现的健忘。 如果你注意到所使用的聊天机器人经常忘记或歪曲先前对话中的细节，这可能是其长上下文理解能力下降的迹象，正如研究人员在论文中强调的那样。
- 始终验证。 这不仅适用于从聊天机器人接收到的任何信息，也适用于你在网上阅读的任何其他内容：即使它看起来可信，也要通过检查合法且信誉良好的来源（如经过同行评审的科学论文或透明更新其报道的新闻来源）来确认。请记住，即使是最好的 AI 模型也会以微妙且不可预测的方式产生幻觉并传播偏见。我们可能无法控制输入 AI 的信息，但我们可以控制哪些信息进入我们自己的大脑。
