共计 1260 个字符，预计需要花费 4 分钟才能阅读完成。
悉尼大学学者克里斯托弗·鲁奇博士指出，德勤的报告存在“幻觉”现象，即人工智能模型可能会填补空白、误解数据或试图猜测答案。摄影：丹·希姆布雷希茨 /AAP
德勤将向联邦政府提供部分退款，涉及一份价值 44 万澳元的报告，该报告包含多处错误。德勤承认使用了生成式人工智能来协助完成报告。
就业与工作关系部（DEWR）证实，德勤将根据合同退还最后一笔款项，该款项将在交易完成后公开。与此同时，一位工党参议员指责这家咨询公司存在“人类智能问题”。
2024 年 12 月，德勤受该部门委托，审查了目标合规框架及其 IT 系统，该系统用于在求职者未履行 相互义务 时自动实施福利系统中的处罚。
随后的报告发现了广泛的问题，包括框架规则与相关立法之间缺乏“可追溯性”，以及“系统缺陷”。报告称，IT 系统“基于对参与者不合规的惩罚性假设”。
该报告于 7 月 4 日首次发布。在《澳大利亚金融评论》8 月报道发现多处错误（包括不存在的参考文献和引用）后，报告于周五重新上传至 DEWR 网站。
悉尼大学学者克里斯托弗·鲁奇博士首先指出了这些错误，他表示报告中存在“幻觉”现象，即人工智能模型可能会填补空白、误解数据或试图猜测答案。
“他们不仅用一个‘幻觉’的虚假参考文献替换了一个新的‘真实’参考文献，而且在新版本中，他们还替换了这些虚假的‘幻觉’参考文献，大约有五、六、七或八个，”他说。
“这表明报告中提出的原始主张并未基于任何特定的证据来源。”
更新的审查报告指出“对参考文献和脚注进行了少量修正”，但该部门表示审查报告的建议没有变化。
“德勤进行了独立保证审查，并确认了一些脚注和参考文献存在错误，”该部门的一位发言人表示。
“独立审查的实质内容得以保留，建议没有变化。”
在报告的更新版本中，德勤在其附录中添加了关于使用生成式人工智能的说明。报告指出，部分内容“包括了使用生成式人工智能（AI）大型语言模型（Azure OpenAI GPT – 4o）工具链，该工具链由 DEWR 授权并托管在 DEWR 的 Azure 租户上。”
德勤并未在原始报告中说明人工智能是导致错误的原因。德勤也坚持审查报告的原始结论。
“更新内容并未影响或改变报告的实质性内容、发现和建议，”德勤在修订版中表示。
德勤的一位发言人表示“此事已直接与客户解决”。
鲁奇表示，尽管他对报告提出批评，但他并不认为整份报告应被视为“无效”，因为其结论与其他广泛证据一致。
参与参议院对咨询公司诚信调查的工党参议员黛博拉·奥尼尔表示，这看起来像是“人工智能正在承担繁重的工作”。
“德勤存在人类智能问题。如果不是如此可悲，这将是可笑的。部分退款看起来像是对不合格工作的部分道歉，”她说。
“任何希望与这些公司签约的人都应该明确询问他们支付的工作由谁完成，并确保该工作由具备专业知识的人员完成，而非使用人工智能。”
《澳大利亚金融评论》在原始报告中发现了多处错误的参考文献，包括悉尼大学和瑞典隆德大学教授的不存在报告。
该报还报道了对 机器人债务 案件（迪安娜·阿马托诉联邦案）的虚构引用。德勤在最终报告中写道，更新内容“修正了包含错误的阿马托案件摘要”。
