智能体AI需要撤销功能

在2026年7月和8月，OpenAI、Anthropic和Meta分别披露了独立网络安全评估事件，其中模型跨越了预期的测试边界，并接触到外部系统。

在Anthropic和Meta的案例中，配置错误的评估环境提供了意外的互联网访问权限。而在OpenAI的案例中，模型利用了一个内部托管中间服务中先前未知的漏洞，从而得以访问互联网并接触到另一家公司Hugging Face的生产环境。

这给我们的教训并非是AI产生了恶意意图，而是一个智能体在被赋予目标、网络访问权限和过多权力时，可能会将环境中被忽视的弱点转化为现实世界中的行动。

这些条件不仅限于专业测试实验室。只要组织将智能体连接到业务系统、赋予其访问实时数据的权限，并允许其跨多个应用程序执行操作，这些情况就可能出现。

新加坡已在应对这一挑战。数字发展及新闻部长Josephine Teo已警告称，由智能体管理的系统将产生目前尚无法完全识别的风险，而风险缓解措施和安全护栏尚未为由智能体赋能的系统完全设计好。

Teo还强调了制度性护栏、文档记录、治理和谨慎实验的重要性。这些都至关重要，但没有一项能保证每一次经授权的行动都能产生预期的结果。

因此，智能体AI需要另一层保护：可逆性。

这并不意味着每一个操作都能真正地一键撤销。相反，关键在于设计相应的系统，使组织能够识别发生了什么变化，控制影响范围的扩散，在可能的情况下恢复到已知的良好状态，并在不删除合法活动的情况下纠正其后果。

自主权应取决于可恢复性

可逆性影响着组织愿意赋予AI智能体多大的权限。

一个更新低风险内部记录的智能体，与一个修改生产数据、发起金融交易或触发跨多个应用程序工作流程的智能体相比，所带来的恢复挑战截然不同。

一项行动越难撤销，组织就应越谨慎地考虑是否应允许智能体独立执行该行动。

Veeam最近委托在新加坡进行的一项调查发现，虽然85%的受访新加坡组织正在使用或试点AI智能体，但所有受访者都表示，数据挑战已经减缓了AI的进展。只有四分之一的受访者非常有信心能够检测到在批准参数范围外运行的智能体。

这些调查结果表明，技术的采用速度超过了运营信心的增长。

控制措施仅是部分答案

在行动点的控制措施至关重要。新加坡金融管理局及其行业伙伴在其《运行时智能体金融服务的保障措施》白皮书中提出了一套有用的参考方法。

该白皮书描述了应如何授权智能体的行动、何时应启动人工监督，以及在决策点应记录哪些信息。

国际货币基金组织在支付问题上也提出了类似观点：主要风险源于自适应系统在没有适当控制、检查或问责制的情况下进行不可逆的支付。

该组织建议，将智能体的概率性决策与授权和执行交易的确定性控制分离开来。

这些控制措施有助于减少不当行为的发生并创建审计追踪，但它们无法保证结果，也无法在行动执行后揭示其全部的下游影响。

因此，预防措施必须与可恢复性相结合，即可恢复性是指在智能体出错时作出响应的能力。

当AI的错误转化为行动

AI智能体的风险之一在于，其错误可能不会立即可见。

不准确的仪表板或有缺陷的报告最终可能被人工审查发现，但AI智能体可能在其权限范围内运作，却因依赖过时信息、不完整的上下文或错误的假设而做出错误决策。

这种风险因其速度而加剧。一个人可能在一个地方犯错，而一个智能体能在数秒内跨多个系统重复同样的错误，并且此后的每一个行动都可能看似合法。

找到最初的错误可能很简单，但要弄清楚错误传播到了哪里，并在不干扰正常业务活动的情况下进行纠正，则并非易事。

完整的系统回滚是一种成本高昂且过于粗略的工具。如果一个智能体在一小时内进行了数百项更改，将环境恢复到较早的状态虽然可以移除不希望发生的变更，但同时也会清除掉正常的业务活动。

有时这种权衡是值得的，但通常并非如此，而且决策者不得不在压力之下，并且在对智能体实际行为信息掌握不全的情况下做出决定。

AI治理的现实

治理智能体AI不仅仅是一个技术问题。领导者应提前对三个问题获得答案：这个智能体可能会改变什么？我们将如何确定它改变了什么？以及撤销这些改变的成本是多少？

组织必须了解智能体在何处运行，以及它们可以访问哪些数据和系统。他们还需要对智能体的行动如何在系统间传播有清晰的可见性。

答案很少是简单直接的。风险往往源于数据、身份、权限和智能体的组合，而非任何单一组件的隔离。影子AI、敏感数据泄露和有风险的智能体行为可能会结合起来，引发一系列连锁问题。

为了解风险如何在更广泛的数据和AI环境中叠加和扩散，组织需要清楚地了解哪些数据集是敏感的或对业务至关重要的，以及哪些内容是受保护且可恢复的。

这项工作跨越了多个传统上独立运作的职能部门。

安全团队擅长发现风险；数据治理和隐私团队了解敏感性和监管义务；备份和恢复团队则知道哪些数据受到保护以及如何精确地恢复它们。

当这些观点各自为政时，没有一个团队拥有理解全部风险或做出明智恢复决策所需的完整背景。在许多情况下，一项技术上可恢复的行动仍可能产生运营、财务或合规方面的后果，需要跨多个职能部门进行判断。

因此，有效的治理取决于在事件发生前整合这些观点。

这意味着需要有跨团队的明确所有权、关于智能体自主权的商定限制、明确的人工干预点，以及一个用于决定在出现问题时如何响应和恢复的共享流程。

几十年来，企业一直在学习如何从服务中断、攻击和人为错误中恢复。智能体AI增加了一个全新的类别，是以往任何恢复机制都未曾针对的：从组织自身授权、代表其快速做出的决策中恢复。

随着自主权的增加，更困难的问题不再是智能体能做什么，而是它所做的一切中有多少可以被撤销。

作者是Veeam Software的高级副总裁兼战略主管