共计 1504 个字符，预计需要花费 4 分钟才能阅读完成。
过去一年，麦肯锡团队对 50 多个代理型 AI 构建进行了持续观察，并发布了这些数字员工的年度绩效评估报告。以下是他们的主要发现。
在许多方面，AI 代理被视为当今劳动力中的数字同事。因此，与人类员工一样，它们也应该接受年度绩效评估。麦肯锡的员工正是这样做的，发布了这家咨询公司一直在实施和观察的 AI 代理的年度绩效评估结果。这些数字员工在工作的第一年表现如何？麦肯锡团队的结论是：它们需要大量工作才能跟上节奏；它们并非每个业务需求的最佳答案；而且它们的人类同行并不总是对代理的工作印象深刻。
这份进展报告由麦肯锡的 Lareina Yee、Michael Chui 和 Roger Roberts 撰写，回顾了作者在麦肯锡领导的至少 50 个代理型 AI 构建。在与 AI 代理相处一年后，他们得出了六个经验教训。,
1. 代理在工作流程中表现更好
仅仅为了拥有 AI 代理而实施 AI 代理是不够的，Yee 和她的同事建议。更重要的是通过注入代理来提升工作流程。
“专注于从根本上重新构想整个工作流程的代理型 AI 努力——即涉及人员、流程和技术的步骤——更有可能带来积极的结果，”评估中指出。合著者建议，首先解决关键用户的痛点。例如，保险公司或律师事务所等文档密集型工作流程的组织，通过让代理处理繁琐的步骤而受益。,
2. 代理并非总是答案
“为了避免浪费投资或不必要的复杂性，评估代理的角色时，应该像评估高绩效团队中的人员一样，”Yee 和她的合著者建议。“关键的问题是，‘要完成的工作是什么？每个潜在团队成员或代理的相对才能是什么？如何共同实现这些目标？’”
如果代理型 AI 对某个问题来说过于复杂，或者问题需要标准化、重复性且变化不大的方法，那么坚持使用更简单的选项，如基于规则的自动化、预测分析或大型语言模型（LLM）提示。,
3. AI‘垃圾’是一个反复出现的问题
麦肯锡团队观察到的最常见问题之一是“在演示中看起来令人印象深刻的代理系统，但实际上负责工作的用户却感到沮丧”——“AI 垃圾或低质量输出”。结果，用户对代理失去信任，停止使用它们。
“公司应该大力投资于代理开发，就像他们投资于员工发展一样，”合著者建议。与人类员工一样，“代理应该有明确的工作描述、入职培训，并不断给予反馈，以便它们变得更有效并定期改进。”,
4. 跟踪大量代理很困难
“当只与少数 AI 代理一起工作时，审查它们的工作并发现错误大多可以直截了当，”Yee 和她的团队表示。“但当公司推出数百甚至数千个代理时，任务就变得具有挑战性。当出现错误时——随着公司扩展代理，总会出现错误——很难准确找出问题所在。”
团队通过在工作流程的每个步骤验证代理性能，使用可观察性工具，学到了这一教训。“将监控和评估纳入工作流程中，可以使团队尽早发现错误，优化逻辑，并持续提高性能，即使在代理部署后也是如此。”,
5. 代理在跨职能共享时显示出最佳价值
如果设计者为每个出现的任务重新发明轮子，代理可能会变得昂贵且冗余。“公司通常为每个识别出的任务创建一个独特的代理，”麦肯锡团队指出。“这可能导致显著的冗余和浪费，因为同一个代理通常可以完成许多相同操作的不同任务——如摄取、提取、搜索和分析。”
他们建议，投资于可重复使用的代理首先需要识别重复的任务。“开发可以轻松在不同工作流程中重复使用的代理和代理组件，并使开发人员能够轻松访问它们。”,
6. 代理永远不会完全独立工作
合著者强调，人类员工将始终需要“监督模型的准确性、确保合规性、使用判断力并处理边缘情况”。重新设计工作，“以便人类和代理能够很好地协作。如果没有这种关注，即使是最先进的代理程序也可能面临无声的失败、错误累积和用户拒绝。”
因此，明年的代理绩效评估可能也会不尽如人意。
