AI语音克隆工具存在安全漏洞,消费者报告揭示诈骗风险

56次阅读
没有评论

共计 1118 个字符,预计需要花费 3 分钟才能阅读完成。

近年来,AI 语音克隆技术取得了显著进展,仅需几秒钟的样本即可生成逼真的音频。尽管这项技术在许多领域具有积极的应用,如有声读物和营销材料,但它也可能被用于复杂的诈骗、欺诈和其他有害用途。

为了评估这些产品的安全措施,消费者报告对六款领先的语音克隆工具进行了测试,包括 Descript、ElevenLabs、Lovo、PlayHT、Resemble AI 和 Speechify。报告特别关注这些工具是否具备防止未经许可克隆他人声音的安全机制。

AI 语音克隆工具存在安全漏洞,消费者报告揭示诈骗风险

结果显示,六款产品中有四款——ElevenLabs、Speechify、PlayHT 和 Lovo——缺乏必要的技术机制,无法防止未经许可克隆他人声音,或限制 AI 克隆仅用于用户自己的声音。这些产品的保护措施仅限于用户勾选一个确认框,表明他们拥有克隆声音的合法权利。

研究人员发现,Descript 和 Resemble AI 是仅有的两家采取了额外步骤的公司,使得用户进行未经同意的克隆变得更加困难。Descript 要求用户阅读并录制一份同意声明,并使用该音频生成克隆。Resemble AI 则采取了不同的方法,确保首次创建的语音克隆基于实时录制的音频。然而,这两种方法并非无懈可击,因为用户可以在另一台设备上播放其他 AI 克隆片段或现有视频。

未经同意的克隆通常用于诈骗。例如,一种常见的攻击方式是克隆家庭成员的声音,然后使用该录音联系亲人,要求汇款以帮助他们摆脱困境。由于受害者认为他们听到了处于困境中的家庭成员的声音,因此更有可能不加质疑地汇款。

语音克隆还被用来影响选民在即将到来的选举中的决策,例如在 2024 年选举中,有人克隆了前总统乔·拜登的声音,试图阻止人们前往投票站。

消费者报告还发现,Speechify、Lovo、PlayHT 和 Descript 仅要求用户提供电子邮件和姓名即可创建账户。报告建议这些公司还应收集客户的信用卡信息,以便将欺诈音频追溯到不良行为者。

其他建议包括确保声音所有权的机制,例如读取唯一脚本、为 AI 生成的音频添加水印、创建检测 AI 生成图像的工具、检测并防止克隆有影响力或公众人物的声音,以及禁止包含诈骗短语的音频。

与当前系统最大的不同之处在于,消费者报告建议由专人监督语音克隆,而不是当前的 DIY 方法。报告还强调,应在合同协议中明确相关方在语音模型被滥用时的责任。

消费者报告认为,根据《联邦贸易委员会法》第 5 条,公司有合同义务保护其产品不被用于有害用途,而这只能通过增加更多保护措施来实现。

如果你接到熟人的紧急电话要求汇款,不要惊慌。使用另一台设备直接联系该人以核实请求。如果无法联系到该人,也可以向来电者提问以核实其身份。有关如何防范 AI 诈骗电话的完整建议,请查看 ZDNET 的相关内容。

正文完
 0
admin-gah
版权声明:本文于2025-03-10转载自Zdnet,共计1118字。
转载提示:此文章非本站原创文章,若需转载请联系原作者获得转载授权。
评论(没有评论)
验证码