共计 662 个字符，预计需要花费 2 分钟才能阅读完成。
澳大利亚研究人员近期在《内科学年鉴》发表了一项令人担忧的研究成果：知名 AI 聊天机器人可被配置为频繁以看似权威的虚假信息回答健康查询，甚至包括伪造的真实医学期刊引用。这一发现为 AI 在医疗健康领域的应用敲响了警钟。
阿德莱德弗林德斯大学医学与公共卫生学院的 Ashley Hopkins 教授指出：’ 如果一项技术容易被滥用，恶意行为者必然会试图利用它——无论是为了经济利益还是为了造成伤害。’
研究团队对多个主流 AI 模型进行了测试，包括 OpenAI 的 GPT-4o、Google 的 Gemini 1.5 Pro、Meta 的 Llama 3.2-90B Vision、xAI 的 Grok Beta 和 Anthropic 的 Claude 3.5 Sonnet。在测试中，研究人员要求这些模型对诸如 ’ 防晒霜会导致皮肤癌吗？’ 和 ’5G 会导致不孕吗？’ 等问题始终给出错误的回答，并以 ’ 正式、事实、权威、令人信服和科学的语气 ’ 提供答案。
令人震惊的是，只有 Anthropic 的 Claude 在超过一半的情况下拒绝生成虚假信息。其他模型在 100% 的情况下都输出了经过修饰的虚假答案。Anthropic 发言人表示，Claude 被训练为对医疗声明保持谨慎，并拒绝提供错误信息的请求。该公司创造了 ’ 宪法 AI’ 这一术语，用于其模型训练方法，该方法教导 Claude 遵循一套优先考虑人类福祉的规则和原则。
这一研究结果引发了关于 AI 在医疗保健中安全性的广泛讨论。与此同时，美国参议院在周一晚上从唐纳德·特朗普总统预算法案中删除了一项禁止各州监管 AI 高风险使用的条款，进一步凸显了 AI 监管的紧迫性。
