共计 1420 个字符，预计需要花费 4 分钟才能阅读完成。
Anthropic 的最新报告揭示了恶意行为者如何滥用 Claude——以及其他领先的 AI 代理和聊天机器人。报告指出，AI 代理系统正在被武器化，详细描述了 Claude 被滥用的广泛案例。
首先是“氛围黑客”。Anthropic 表示，最近捣毁的一个复杂网络犯罪团伙使用 Anthropic 的 AI 编程代理 Claude Code，在一个月内从全球至少 17 个不同组织勒索数据。被黑客攻击的包括医疗机构、紧急服务、宗教机构，甚至政府实体。
Anthropic 威胁情报团队负责人 Jacob Klein 在接受《The Verge》采访时表示：“如果你是一个复杂的操作者，像氛围黑客这样的案例，原本可能需要一个复杂的团队来完成——现在，借助代理系统，单个人就可以完成。”他补充说，在这种情况下，Claude“端到端地执行了操作。”
Anthropic 在报告中写道，在这种情况下，AI“既是技术顾问，也是活跃的操作者，使得攻击对于个体操作者来说更难且更耗时。”例如，Claude 被专门用于编写“心理定制的勒索要求”。然后，网络犯罪分子计算出这些数据——包括医疗数据、财务信息、政府凭证等——在暗网上的价值，并提出了超过 50 万美元的赎金要求。
Klein 说：“这是我见过的最复杂的代理使用案例……用于网络攻击。”
在另一个案例中，Claude 帮助朝鲜的 IT 工作者在美国的财富 500 强公司中欺诈性地获得工作，以资助该国的武器计划。通常，在这种情况下，朝鲜会试图利用那些上过大学、有 IT 经验或有一定英语沟通能力的人，但 Klein 表示，在这种情况下，朝鲜人通过大型科技公司的技术面试并保住工作的门槛大大降低。
在 Claude 的帮助下，Klein 说，“我们看到那些不会写代码、不会专业沟通、对英语语言或文化知之甚少的人，只是让 Claude 做所有事情……然后一旦他们获得了工作，他们实际上用 Claude 做的大部分工作就是维持这份工作。”
另一个案例涉及浪漫骗局。一个每月用户超过 10,000 人的 Telegram 机器人将 Claude 宣传为“高情商模型”，用于生成情感智能的信息，表面上是为了骗局。它使非母语英语者能够编写有说服力、恭维的信息，以获得美国、日本和韩国受害者的信任，并向他们要钱。报告中的一个例子显示，用户上传了一张穿领带的男人的照片，并询问如何最好地恭维他。
在报告中，Anthropic 自己承认，尽管公司“开发了复杂的安全措施来防止 AI 的滥用”，并且这些措施“通常是有效的”，但恶意行为者有时仍能找到绕过它们的方法。Anthropic 表示，AI 降低了复杂网络犯罪的门槛，恶意行为者使用该技术来剖析受害者、自动化他们的操作、创建虚假身份、分析被盗数据、窃取信用卡信息等。
报告中的每个案例都增加了越来越多的证据，表明 AI 公司尽管努力尝试，往往无法跟上与他们创造并推向世界的技术相关的社会风险。“虽然这些案例特定于 Claude，但下面呈现的案例研究可能反映了所有前沿 AI 模型的一致行为模式，”报告指出。
Anthropic 表示，对于每个案例研究，他们禁用了相关账户，创建了新的分类器或其他检测措施，并与情报机构或执法部门等适当的政府机构分享了信息，Klein 证实了这一点。他还表示，他的团队看到的案例研究是 AI 风险更广泛变化的一部分。
“正在发生一种转变，AI 系统不再只是一个聊天机器人，因为它们现在可以采取多个步骤，”Klein 说，并补充道，“它们实际上能够执行像我们在这里看到的行动或活动。”
