共计 1513 个字符，预计需要花费 4 分钟才能阅读完成。
微软近日宣布了对 Windows 11 中 Copilot AI 的一系列重要更新，标志着这一 AI 助手从文本交互迈向了多模态智能时代。用户现在可以通过语音与 Copilot 对话，展示屏幕内容，并命令其代为执行操作。
“我们已经见证了 AI 以聊天机器人形式的第一轮进化，”微软执行副总裁 Yusuf Mehdi 在最近的新闻发布会上表示，“我们正处在下一轮进化的边缘，不仅仅是聊天机器人，而是集成式 AI。”
微软的目标是将 Copilot 深度融入 Windows 系统，使其能够通过 Copilot Voice 与用户自然对话，通过 Copilot Vision“看到”用户的操作，并通过 Copilot Actions 在 PC 上执行任务，从简单的打开应用程序到复杂的预订机票。
尽管这些功能引发了安全担忧，但微软采取了更为谨慎的策略。与之前备受争议的 Recall 功能不同，Copilot 需要明确权限才能执行任何操作，用户可以随时控制或撤销其访问权限。
目前，这些新功能仅面向 Windows Insider 计划的成员开放，但最终将推广到所有 Windows 11 PC。以下是此次升级的主要内容。,
Copilot Actions：从问答到执行
Windows 11 中最大的亮点是 Copilot Actions，这一 AI 代理不仅能回答用户的问题，还能代用户执行操作，包括打开和关闭应用程序、打字、滚动以及执行复杂的操作链。
微软的目标是将 AI 代理从被动的“问答”聊天机器人转变为数字协作者，能够在 PC 上为用户执行任务：更新文档、撰写和发送电子邮件，甚至在浏览器中预订机票。
为了确保安全，微软将这一功能限制在一个单独的账户中，位于名为“代理工作区”的独立桌面上，并严格限制其访问权限。用户需要明确授权，代理才能执行操作，并且可以随时关闭访问权限。,
‘Hey, Copilot’：语音交互新体验
微软希望通过 Copilot Voice 让 Windows 11 PC 成为“可以对话的计算机”。这一功能旨在弥合 AI“提示”与对普通用户相关任务的实际效用之间的差距，例如在文档中定位关键词、查找电子邮件、找到下载文件的随机文件夹等。
虽然语音交互为 PC 操作带来了新的可能性，但在实际应用中仍存在一些挑战。例如，在办公环境中，用户可能不希望对着 PC 说话，尤其是处理敏感数据时。为此，微软确认 Copilot Voice 不会取代文本输入，它只是一个用户可以选择使用或不使用的附加功能。,
Copilot Vision：AI 的“眼睛”
Copilot Vision 是 Copilot 多模态 AI 的重要组成部分，它让 AI“看到”用户当前在 PC 上正在做的事情，并通过语音或文本提供建议、指示或信息。与 Voice 一样，Vision 需要被调用，并且用户可以手动选择其可以访问的应用程序。
这一设计在可用性上设置了一些安全护栏。用户必须手动选择 Vision 可以访问的应用程序，并且一次只能选择最多两个应用程序。发布时，它将仅支持语音，但微软已确认文本支持将在不久后推出。,
Microsoft 365 集成：无缝协作
除了上述新功能外，Copilot 现在还可以直接与 Microsoft 365（前身为 Microsoft Office）应用程序（包括 OneDrive、Outlook 和 Google Drive）进行交互。通过 Voice 和 Vision，Copilot 不仅能响应用户对其文档的提示，还能在这些应用程序中创建、导出、设计和撰写文档——所有操作都通过自然语言请求完成。
该功能仍在测试中，目前仅面向 Copilot Insider 计划的成员开放，并于 10 月初宣布。随着这些新功能的推出，Windows 11 的 Copilot 将变得更加智能和实用，为用户带来前所未有的操作体验。
