共计 1791 个字符，预计需要花费 5 分钟才能阅读完成。
随着智能手机的不断升级，我们正处在一个代际变革的时期。人工智能正在被整合到各个领域，但其中的风险我们尚未完全理解，更不用说如何确保安全了。这种情况没有回头路。
本周，谷歌继续为数百万 Workspace 账户更新，提供新的 AI 工具，大量 Gmail 用户也面临这一情况。该公司已确认，“独立的 Gemini 应用现已作为 Workspace 商业、企业和前线计划的一部分。通过内置的企业级数据保护，全球员工现在可以节省时间并提供更高质量的工作——安全且合规地——借助 AI 驱动的助手。”
随着这些新更新，依赖全球最受欢迎的电子邮件平台的用户几乎同时看到了这些变革带来的好与坏。这个“AI 驱动的助手”可能比表面上看起来更危险。
首先，好消息是，除了扩大获得新 AI 助手升级的用户数量外，谷歌还确认 Gemini 驱动的智能回复功能将在 Android 和 iOS 上推出。“我们很高兴宣布 Gmail 中的新 Gemini 功能，即上下文智能回复，它将提供更详细的回复，以完全捕捉您的消息意图。”
这将提供一系列“考虑整个电子邮件线程内容的回复”。虽然 AI 阅读整个线程（甚至可能是整个电子邮件历史）存在明显的安全和隐私问题，但可以通过区分设备端和云端处理来缓解，并通过提供云端处理作为手机安全扩展的新架构来解决。
用户数量和“AI 助手”功能的扩展掩盖了一个严重问题，本周的一份报告指出，Gemini 在 Workspace 中作为生产力工具的使用，包括阅读、总结和回复我们自己未查看的电子邮件，存在“间接提示注入攻击”的“重大风险”。Hidden Layer 的研究团队警告说，恶意电子邮件可以设计为不是供人类阅读，而是供人类要求 AI 总结或执行。他们的概念验证表明，第三方攻击者可以在 AI 聊天中植入钓鱼攻击，诱使用户点击危险链接。
正如 IBM 解释的那样，“提示注入是一种针对大型语言模型（LLM）的网络攻击。黑客将恶意输入伪装成合法提示，操纵生成式 AI 系统（GenAI）泄露敏感数据、传播错误信息或更糟……考虑一个可以编辑文件和撰写电子邮件的 LLM 驱动的虚拟助手。通过正确的提示，黑客可以诱使该助手转发私人文件。”
攻击者向目标受害者发送一封看似无害的电子邮件，其中包含系统提示。例如，一封询问午餐会议的简单电子邮件，如果目标受害者询问 Gemini 他们的行程，则会显示包含钓鱼链接的密码泄露警报。
“提示注入漏洞”，IBM 表示，“出现的原因是系统提示和用户输入采用相同的格式：自然语言文本字符串。这意味着 LLM 无法仅根据数据类型区分指令和输入。相反，它依赖于过去的训练和提示本身来决定该做什么。如果攻击者设计的输入看起来足够像系统提示，LLM 会忽略开发者的指令并执行黑客想要的操作。”
“尽管这些是简单的概念验证示例，”Hidden Layer 的团队指出，“它们表明恶意第三方可以控制 Workspace 中的 Gemini 并显示他们想要的任何消息。作为负责任的披露，本文和其他提示注入报告已提交给谷歌，谷歌决定不将其视为安全问题，并将该问题标记为“不会修复（预期行为）”。
这不仅仅是 Gmail 的问题。随着 AI 侧边栏现在装饰着如此多的应用程序和生产力工具，攻击向量扩展到各种消息应用程序和附件中。我们正处于这一过程的开始阶段。这是推动我们报道的许多网络攻击的社会工程的下一个迭代，只是这里的社会工程涉及我们与 AI 的互动，而不是彼此之间的互动。
Hidden Layer 警告说，“虽然 Workspace 中的 Gemini 高度通用且集成在谷歌的许多产品中，但有一个重大警告，即其对间接提示注入的脆弱性……在某些条件下，用户可以操纵助手产生误导或意外的回复。此外，第三方攻击者可以分发恶意文档和电子邮件……破坏目标 Gemini 实例生成的回复的完整性。”
谷歌似乎确实在认真对待这一点，并不会将这些威胁视为预期行为。在回应 Hidden Layer 的报告时，谷歌发言人告诉我，“防御此类攻击一直是我们的持续优先事项，我们已经部署了多种强大的防御措施来保护用户安全，包括防止提示注入攻击和有害或误导性回复的安全措施。我们通过红队演习不断加强我们已经强大的防御措施，训练我们的模型防御这些类型的对抗性攻击。”
这不仅适用于 Google Workspace，还适用于所有平台。只是谷歌在 Gmail 等平台上处于独特位置，能够比其他任何人更快地推动其 AI 发展，因此这些问题可能会首先在那里出现。
