共计 1513 个字符,预计需要花费 4 分钟才能阅读完成。
人工智能代理正成为企业提升效率的热门工具,但其部署速度已远超安全防护的跟进能力。德勤最新发布的《企业人工智能现状》报告发出明确警告:企业在加速采用 AI 代理的同时,普遍未能建立起足够的安全保障机制,这构成了不容忽视的风险。
该报告基于对 24 个国家超过 3200 名企业高管的调研,描绘了 AI 代理应用的快速扩张图景。数据显示,目前已有 23% 的企业正在“至少适度地”使用 AI 代理,而预计未来两年内,这一比例将大幅跃升至 74%。相比之下,目前完全不使用 AI 代理的企业比例为 25%,预计将急剧缩减至仅 5%。然而,与这种快速普及形成鲜明对比的是安全监督的严重滞后。调查显示,仅约 21% 的受访企业表示已建立健全的安全与监督机制来防范 AI 代理可能引发的各类风险。
德勤在报告中尖锐地指出:“考虑到该技术的快速应用趋势,安全机制的滞后可能构成重大隐患。随着 AI 代理从试点阶段转向规模化部署,建立强有力的治理体系对于平衡风险管控与价值实现至关重要。”这一警告为所有正在或计划部署 AI 代理的企业敲响了警钟。
AI 代理的隐患究竟何在?
OpenAI、微软、谷歌、亚马逊及 Salesforce 等科技巨头正大力将 AI 代理作为生产力工具推向市场。其核心逻辑是让代理自动化处理重复性、低风险的操作,从而释放人类员工,使其专注于更高价值的创造性任务。然而,更高的自主性必然伴随着更高的风险。与功能相对有限、需持续人工提示的聊天机器人不同,AI 代理能够与多种数字系统深度交互,例如代表企业自动签署文件或执行采购流程。
这种复杂性显著增加了出错的可能性。AI 代理可能以开发者预期之外的方式行动,执行错误操作,甚至造成财务或声誉上的严重后果。同时,它们也更易受到“提示注入”等新型恶意攻击,攻击者可能通过精心构造的指令诱导代理执行危险操作。因此,缺乏监督的 AI 代理部署,无异于在企业数字系统中埋下了一颗“定时炸弹”。
更广泛的行业安全图景
德勤此次报告并非首份指出 AI 应用速度超越安全发展的研究,它揭示了一个普遍存在的行业性问题。今年 5 月的一项调查显示,绝大多数受访的 IT 专业人士称其雇主已在业务中使用 AI 代理,但其中仅 44% 表示所在企业制定了相关的使用政策。同年 9 月,非营利组织国家网络安全联盟发布的研究表明,尽管越来越多员工在日常工作中使用 ChatGPT 等 AI 工具,但大多数人并未接受过雇主提供的任何安全培训。
而 12 月盖洛普的民意调查则发现了一个有趣的现象:尽管员工个人使用 AI 的情况较往年显著增加,却有近四分之一受访者对雇主是否在组织层面应用该技术一无所知。这反映出企业 AI 应用在管理与沟通上的脱节,进一步放大了安全风险。
如何在创新与安全之间寻找平衡?
当然,要求企业在 AI 代理应用的早期阶段就建立完美无缺的防护体系并不现实。技术发展的步伐往往快于我们对潜在风险的理解,因此政策与规范常落后于实际部署,这一矛盾在日新月异的 AI 领域尤为突出。
但正如德勤《企业生成式人工智能现状》报告所提示,随着各行业不断扩大对 AI 代理及其他强大工具的使用,部署与安全之间可能出现危险的“鸿沟”。当前阶段,“监督”必须成为关键词。企业需要清醒认识内部使用 AI 代理所蕴含的风险,并立即着手制定明确的政策与流程,以确保其处于可控状态,且一旦出现问题能够有效管理后果。
德勤在报告中给出了具体建议:“组织应为 AI 代理的自主权设定清晰边界,明确哪些决策可由代理独立完成,哪些必须经过人工审批。建立实时监控系统以追踪代理行为、标记异常活动至关重要,同时应保存完整的操作审计轨迹,以落实责任归属并支持持续优化。”只有通过主动的治理和持续的监督,企业才能驾驭 AI 代理的强大能力,同时确保其发展走在安全、可靠的轨道上。