共计 559 个字符，预计需要花费 2 分钟才能阅读完成。
一项最新研究发现，当 AI 聊天机器人在大量低质量社交媒体内容上进行训练时，其推理和信息检索能力会显著下降。这项由德克萨斯大学奥斯汀分校研究人员进行的研究，揭示了数据质量对大型语言模型（LLMs）性能的关键影响。
研究团队使用社交媒体平台 X 上的一百万条公开帖子，对 Meta 开发的 Llama 3 和阿里巴巴开发的 Qwen 等模型进行了训练。结果显示，在低质量数据（如简短、肤浅的社交媒体帖子）上训练的模型，在推理过程中会跳过关键步骤，导致错误信息的产生。
德克萨斯大学奥斯汀分校的研究人员张洋（音译）指出，高质量数据需要满足语法正确和易于理解等标准。然而，这些标准往往无法准确反映内容质量的差异。
研究还发现，即使在混合数据集中，随着低质量数据比例的增加，对模型推理能力的负面影响也会加剧。西澳大利亚大学珀斯分校的 AI 研究员 Mehwish Nasim 强调，这一发现印证了 AI 领域的基本原则：’ 垃圾进，垃圾出 ’。
研究团队还探讨了低质量数据对模型人格特质的影响。在训练垃圾数据之前，Llama 表现出宜人性、外向性等积极特质。但随着低质量数据的输入，模型的负面特质被放大，甚至出现了精神病态特征。
尽管研究人员尝试通过调整提示指令和改进训练数据来优化模型性能，但效果有限。模型仍然会跳过某些推理步骤，这表明需要开发新的方法来减轻低质量数据的影响。
正文完
