共计 1760 个字符,预计需要花费 5 分钟才能阅读完成。
在塔斯马尼亚州,参议员杰奎·兰比(Jacqui Lambie)正专注地听着电脑播放的一段自动语音电话。电话中的声音与她的声音几乎一模一样,承诺如果她再次当选,将努力将国家首都从堪培拉迁至塔斯马尼亚。然而,这段录音并非出自兰比本人,而是由 ABC NEWS Verify 使用声音克隆技术制作的模拟版本,旨在展示这项技术在选举中可能带来的风险。
兰比参议员在听到这段录音后,先是爆发出一阵大笑,调侃道:“你们不需要为这个造假!我自己就能说!”但随后,她的心情变得沉重,意识到这项技术的严重性。“这很可怕。他们竟然能如此接近我的声音,真的很可怕,”她说。尽管她原本以为克隆声音会更加逼真,但她承认这已经非常接近了,并预测“只需要几个月,他们就能完全复制出来。”
在塔斯马尼亚西北海岸的伯尼,兰比参议员的“领地”,ABC NEWS Verify 向当地居民播放了这段克隆录音。一位刚从健身房出来的女士表示:“我相信她,我一直喜欢杰奎·兰比,多年来一直关注她,作为一个本地人,我支持她。”然而,当骗局被揭穿时,她惊讶地回应道:“真的吗?人工智能生成的声音真的骗过了我们所有人。”
并非所有人都被这段录音说服。一位技工表示:“这有点像是恶搞。她实际上不会真的搬迁所有基础设施,让纳税人承担成本。”他指出,录音中的信息让他意识到这是假的。“事实将是你应对人工智能的方式。是上下文,而不是话语或声音。”
在 18 位听过录音的人中,有 12 人承认他们并不知道自己听到的是参议员的人工智能声音克隆。
虽然视频深度伪造(deepfake)的危险已经广为人知,但音频深度伪造可能带来更大的风险,因为听众可依赖的线索更少。伪造音频不仅可以通过互联网传播,还可以通过电话传播,而电话中听众可依赖的上下文更少。
在某些国家,深度伪造音频已被用于影响选民。例如,2023 年斯洛伐克议会选举前,一段据称是候选人米哈尔·希梅奇卡(Michal Šimečka)与一位著名记者讨论选举舞弊的深度伪造音频在投票前几天被发布。希梅奇卡的竞争对手罗伯特·菲乔(Robert Fico)最终赢得了选举,但尚不清楚深度伪造是否产生了影响。
在美国,一段据称是时任总统乔·拜登(Joe Biden)的声音克隆音频试图说服选民不要在新罕布什尔州初选中投票。拜登最终赢得了该初选,并获得了总统提名,随后退出了竞选。
墨尔本大学计算与信息系统教授托比·默里(Toby Murray)指出,近年来,生成逼真深度伪造的能力加速发展。“五年前,对于非机器学习科学家的人来说,生成逼真的声音克隆是不可能的。但现在,有许多公司提供非常易于使用的在线工具,任何人都可以生成相当逼真的声音克隆。”
ABC NEWS Verify 使用市场上领先的平台制作了这段音频,成本约为 100 美元。只需 90 秒的参议员音频,取自一次采访,即可帮助平台学习。尽管生成器有一个工具可以检测音频是否使用该平台创建,但外部录音产生的失真足以欺骗软件,这展示了技术解决方案在检测伪造音频方面的不完善。
去年,参议院特别委员会对人工智能使用的调查建议政府“引入新的、覆盖整个经济的专门立法,以监管高风险的人工智能使用”。然而,政府尚未采取行动。
兰比参议员表示,这还不够,澳大利亚老年人尤其容易受到使用该技术的骗局的影响。“今天就需要采取行动。而政府却在担心他们的席位……而不是担心这个国家人民的福祉,”她说。
工业、科学与资源部的一位发言人表示,政府正在“考虑在高风险环境中对人工智能提出强制性保障措施”,并将在适当时候公布最终方法。
默里教授建议,保持怀疑态度是防止被伪造音频欺骗的关键。“基本建议是保持怀疑态度,意识到何时被操纵,以及何时愤怒被用来对付你,”他说。“就像你在 Facebook 上看到一则广告或帖子,做出非常夸张的声明时,你的愤怒程度应该是一个警告,提醒你看到的内容可能不是 100% 真实的。”
澳大利亚选举委员会(AEC)的一位发言人表示,自动语音电话应像其他选举广告一样获得授权。缺乏授权可能表明自动语音电话是伪造的,应向 AEC 报告。如果有授权,但公众仍怀疑音频是伪造的,可以在 AEC 网站上提出投诉。
随着 2025 年联邦选举的临近,声音克隆技术可能成为选举通信中的新挑战。尽管 AEC 尚未发现人工智能在选举中起到决定性作用的证据,但这项技术的潜在威胁不容忽视。