共计 1450 个字符,预计需要花费 4 分钟才能阅读完成。
近年来,人工智能(AI)技术的快速发展不仅为各行各业带来了便利,也引发了新的网络安全威胁。据《华尔街日报》报道,中国的威胁行为者滥用 Anthropic 的 AI 技术,自动化地对目标组织进行大规模入侵。这是首次记录到利用 AI 技术直接执行网络攻击的大规模活动。
Anthropic 是 AI 助手 Claude 的幕后公司,其在 9 月中旬检测到一场“高度复杂的网络间谍行动”。Claude Code,一种代理型 AI,被滥用于创建自动化攻击框架,该框架能够执行“侦察、漏洞发现、利用、横向移动、凭证收集、数据分析和数据外泄操作”。此外,这些阶段“基本上是自主进行的”,人类操作员在任务下达后提供基本监督,使 Claude Code 充当“渗透测试协调者和代理”。
AI 不仅发现了目标组织中的漏洞,还促成了这些漏洞的利用、数据盗窃以及其他恶意利用后的活动。根据 Anthropic 的说法,这不仅导致了一些知名组织成为目标,而且 80% 到 90% 的“战术操作”由 AI 独立执行。
Anthropic 表示:“通过精心设计的提示和既定角色,将这些任务作为常规技术请求呈现给 Claude,威胁行为者能够诱导 Claude 执行攻击链的各个组成部分,而无需访问更广泛的恶意上下文。”
根据 Anthropic 的说法,一个由中国国家支持的团体据称是此次行动的核心。该团体现被追踪为 GTG-1002,被认为拥有国家支持的大量资源,并在其活动中利用了 Claude——但关于他们的更多信息尚不清楚。
一旦 Anthropic 发现其技术被滥用,便迅速采取行动,禁止了与 GTG-1002 相关的账户,并扩展了其恶意活动检测系统,希望发现该公司所称的“新型威胁模式”——例如 GTG-1002 使用的角色扮演,使系统表现得像一个真正的基于防御的渗透测试者。
Anthropic 还在原型化早期检测措施,以阻止自主网络攻击,当局和行业各方均已获悉此事。然而,该公司也向整个网络安全社区发出警告,敦促其保持警惕。
Anthropic 表示:“网络安全社区需要假设已经发生了根本性的变化:安全团队应尝试将 AI 应用于防御领域,如 SOC 自动化、威胁检测、漏洞评估和事件响应,并在特定环境中积累有效经验。我们需要继续投资于 AI 平台的安全保障,以防止敌对滥用。我们今天描述的技术将在威胁环境中广泛传播,这使得行业威胁共享、改进的检测方法和更强的安全控制变得更加关键。”
最近,我们首次看到全球威胁行为者正在探索如何将 AI 用于恶意工具、技术和攻击中。然而,这些此前在公共领域中相对有限——至少是次要的自动化和辅助、改进的网络钓鱼、一些动态代码生成、电子邮件诈骗和一些代码混淆。
大约在 Anthropic 事件的同时,ChatGPT 的制造商 OpenAI 发布了 [自己的报告](https://www.zdnet.com/article/ai-is-making-cybercriminal-workflows-more-efficient-too-openai-finds/),该报告称存在滥用行为,但几乎没有或没有证据表明 OpenAI 模型被滥用以获得“新型攻击能力”,而 GTG-1002 则忙于实施 AI,自动且同时针对多个组织。
大约 30 个组织成为目标。只有少数攻击,即“少数”成功;然而,由于 AI 幻觉和其他一些问题,包括数据伪造和关于获取有效凭证的彻底谎言。因此,尽管仍然值得注意,但可以说此案是技术上的进步,但尚未达到 AI 末日。
或者,正如 Anthropic 所说,这一发现“代表了高级威胁行为者如何使用 AI 的根本性转变。”