共计 1602 个字符,预计需要花费 5 分钟才能阅读完成。
Claude AI 现已具备创建和编辑文档、电子表格及其他文件的能力。然而,Anthropic 公司发出警告,黑客可能会借此窃取用户的敏感数据。,
ZDNET 的关键要点
- Claude AI 现在可以创建和编辑文档及其他文件。
- 该功能可能会危及用户的敏感数据。
- 建议监控与 AI 的每次互动,以发现可疑行为。
目前,大多数流行的生成式 AI 服务都能在一定程度上处理用户的个人或工作相关数据和文件。这一功能的好处在于,无论是在家中还是工作中,它都能节省用户的时间和精力。然而,其缺点在于,由于 AI 可以访问敏感或机密信息,黑客可能会诱骗 AI 将这些数据分享给错误的人。
最新的例子是 Anthropic 的 Claude AI。该公司于周二宣布,其 AI 现在可以直接在 Claude 网站以及 Windows 和 MacOS 的桌面应用程序中创建和编辑 Word 文档、Excel 电子表格、PowerPoint 幻灯片和 PDF 文件。用户只需在提示中描述所需内容,Claude 就有望提供相应的结果。
目前,该功能仅适用于 Claude Max、Team 和 Enterprise 订阅者。不过,Anthropic 表示,该功能将在未来几周内向 Pro 用户开放。要访问新的文件创建功能,用户需前往设置,并在实验类别下选择“升级的文件创建和分析”选项。,
Anthropic 警告风险
虽然这一功能听起来非常实用,但在深入使用之前,用户需注意其中涉及的风险。在周二的新闻稿中,Anthropic 承认,“该功能使 Claude 能够访问互联网以创建和分析文件,这可能会使您的数据面临风险。”
在支持页面上,该公司进一步探讨了潜在风险。该功能在设计时考虑了一些安全性,为 Claude 提供了一个沙盒环境,该环境的互联网访问受限,以便它可以下载和使用 JavaScript 包来处理文件。
然而,即使在这种受限的互联网访问下,攻击者仍可能通过外部文件或网站使用提示注入和其他技巧来添加指令,诱骗 Claude 运行恶意代码或从连接的源读取敏感数据。随后,代码可以被编程为使用沙盒环境连接到外部网络并泄露数据。,
有哪些保护措施?
如何保护自己和数据免受此类侵害?Anthropic 提供的唯一建议是在使用文件创建功能时监控 Claude。如果发现它意外地使用或访问数据,用户应立即停止其操作。用户还可以使用“踩”选项报告问题。
这一建议听起来并不太有帮助,因为它将防范恶意或可疑攻击的责任推给了用户。然而,这在生成式 AI 行业中目前是常态。提示注入是攻击者将恶意代码插入 AI 提示的一种熟悉且臭名昭著的方式,使他们能够危害敏感数据。然而,AI 提供商在应对此类威胁方面行动迟缓,使用户面临风险。
为了应对这些威胁,Anthropic 为 Claude 用户提供了几项功能:,
- 用户完全控制文件创建功能,因此可以随时打开或关闭它。
- 用户可以在使用该功能时监控 Claude 的进度,并随时停止其操作。
- 用户可以审查和审核 Claude 在沙盒环境中采取的操作。
- 用户可以禁用包含该功能任何信息的对话的公开分享。
- 用户可以限制 Claude 完成任何任务的持续时间以及分配给单个沙盒容器的时间。这样做可以帮助用户避免可能表明恶意活动的循环。
- 网络、容器和存储资源是有限的。
- 用户可以设置规则或过滤器来检测提示注入攻击,并在检测到攻击时阻止它们。
也许该功能不适合您
“我们已经对该功能进行了红队和安全测试,”Anthropic 在新闻稿中表示。“我们有一个持续的过程,对该功能进行持续的安全测试和红队测试。我们鼓励组织在决定是否启用该功能时,根据其特定的安全要求评估这些保护措施。”
最后一句话可能是最好的建议。如果企业或组织启用了 Claude 的文件创建功能,用户需要根据自身的安全防御措施进行评估,看看它是否符合标准。如果不符合,那么也许该功能并不适合。对于家庭用户来说,挑战可能更大。一般来说,用户应避免在提示或对话中分享个人或敏感数据,注意 AI 的异常行为,并定期更新 AI 软件。