企业正在跨越 AI 自主执行的临界点一家企业在评估之后发现AI Agent 并不可靠。它可能误解任务可能调用错误的工具可能在错误的时间执行一项原本正确的操作甚至可能拿着完全合法的身份和权限做出一件企业根本不希望发生的事情。于是这家企业做出了一个非常合理的决定不让 Agent 进入生产业务。另一家企业得出了几乎完全相同的风险判断却做了另一种选择。它允许 Agent 进入生产只是不一次性放开全部能力——它给 Agent 划定资金额度、操作对象、时间窗口、业务范围和人工兜底条件然后接受一个并不完美的现实Agent 会犯错但只要错误仍然被限制在企业能够承受的范围内运行就继续。半年以后第二家企业发现了一件比Agent 是否犯错更重要的事情。Agent 确实造成了损失但它创造的收益更大。于是一个原本属于 AI Safety 的技术问题开始悄悄变成一个竞争问题。一、真正危险的变量可能不是 Agent 是否犯错今天关于 AI Agent 的讨论大量集中在一个问题上它够不够安全这个问题当然重要但当企业真正把 Agent 放进生产环境以后真正驱动决策的函数往往并不是Agent 是否安全这样一个二元判断而更接近一个减法Agent 创造的价值 - 错误损失 - 治理成本只要最终结果持续大于零企业就获得了继续扩大 Agent 使用范围的经济动机。假设 Agent 每年为一家企业创造 1000 万元额外价值同时因为错误操作、人工复核、安全治理和基础设施投入产生 300 万元成本。从安全工程师的角度看这套系统仍然存在大量问题但从企业经营者的角度看它已经创造了 700 万元净收益。这两种判断可以同时成立而且很可能会长期同时成立。Agent 可以不够可靠同时仍然值得使用。这恰恰可能成为未来几年 Agent 进入生产环境最重要的现实基础——不是因为它变得完美而是因为它变得划算。现实数据也在提示这种经济逻辑正在起作用。美国国家经济研究局NBER今年发布的工作论文《Firm Data on AI》调查了美国、英国、德国和澳大利亚近 6000 名企业高管发现 69% 的企业已经在主动使用 AI而且使用率在更年轻、生产率更高的企业中更加明显。更值得注意的是另一项嵌入意大利央行企业调查的大规模随机实验约 3000 家企业中多数企业系统性地低估了竞争对手对先进技术的实际采用水平当它们被告知真实数据以后不仅上调了对同行未来采用程度的预期也相应提高了自身的采用意愿。这意味着技术采用从来不只是企业内部的成本收益计算。它还存在一个外部变量别人已经走了多远。而一旦企业对这个变量的认知被修正它自己的选择也会跟着改变。二、A 企业没有发生事故却仍然可能失败把这个外部变量代入开头的两家公司事情会变得更清楚。A 企业拒绝 Agent 进入生产B 企业允许 Agent 在有限边界内工作。第一年A 企业几乎必然显得更加稳健没有 Agent 误操作没有自主系统越权没有新增的治理成本也没有因为模型幻觉引发的生产事故。B 企业则可能每天都在处理各种新问题——Agent 调用了错误接口自动化流程执行失败模型理解出现偏差权限配置过宽人工不得不介入甚至偶尔产生真实的业务损失。如果只统计Agent 事故这一个指标A 显然更安全。但商业竞争从来不只统计事故。假设一年之后B 的订单处理时间降低了 40%运营人员可以管理过去三倍的业务量软件发布周期从一周缩短到一天客服成本持续下降——那么一种新的风险就开始在 A 身上安静地累积。它可以被称为 R_non-adoption不采用风险。这种风险的麻痹性在于它不以事故的形式出现。它表现为成本越来越高、响应越来越慢、人才效率越来越低、业务试错越来越贵、组织规模越来越臃肿最终市场份额慢慢流向竞争对手。整个过程没有任何一个时刻可以被写进事故报告因此也很难在董事会上被当作风险事件讨论。A 企业完全可以连续三年保持零 Agent 事故然后输掉竞争。这可能是 Agent 时代最反直觉的一件事企业未来同时面临两种 AI 风险使用 AI 的风险以及不使用 AI 的风险。前者可见、可追责、可归档后者弥散、缓慢却往往更致命。而当这两种风险开始被同时定价的时候技术扩散的机制就会发生变化。三、技术真正不可逆的时刻不是它变得完美的时候很多新技术在早期都会经历几乎相同的争论它安全吗可靠吗成本够低吗我们是不是应该再等一年这种争论很容易让人产生一个错觉——企业会等待一种技术足够成熟以后再大规模采用它。现实中的技术扩散往往没有这么整齐。一种技术真正跨过临界点的时刻通常不是它已经没有明显缺陷而是拒绝使用它所付出的代价开始超过使用它所承担的代价。把企业面临的问题极度简化就是两个变量的比较。采用 Agent 的风险 R_A包括错误执行、数据泄露、越权、合规、事故以及治理成本不采用 Agent 的风险 R_N包括效率差距、成本劣势、创新速度下降和竞争地位损失。在 Agent 很早期的时候R_A R_N。此时企业最合理的选择当然是谨慎甚至完全禁止 Agent 进入生产——这不是保守而是正确。但随着模型能力提高、工具链成熟以及竞争企业开始获得实际收益这两个变量会朝不同方向运动一方面治理技术的进步会持续压低采用风险另一方面越来越多竞争者从 Agent 中获得实际收益会让 R_N 不断上升。不采用的机会成本反而成为增长最快的那一项。直到某一天R_A R_N。企业跨过一个临界点可以称之为 Agent Adoption Threshold——Agent 采用临界点。跨过这个点以后企业内部讨论的语法会发生一种微妙的变化。过去董事会问的是我们是否应该冒险让 Agent 进入生产后来问的可能变成如果竞争对手已经让 Agent 大规模工作我们还能承受多久不用同一批人同一套风险认知问题的主语却从风险换成了时间。这才是技术扩散真正开始加速的时刻。四、竞争会形成一只棘轮这个过程还存在第二个特点它很可能不是线性的。B 企业使用 Agent 以后获得的并不只是当年节约下来的人工成本。它同时在积累一种更难被追赶的东西——组织经验。哪些任务适合交给 Agent哪些动作必须人工确认什么情况下 Agent 容易失败哪些权限应该拆分异常如何处理工作流如何设计效果如何评价证据如何留存以及那些原本为人类设计的业务流程究竟应该怎样重写。这些知识无法通过采购获得只能通过运行获得。于是形成一个反馈循环Agent 使用产生经验和数据经验和数据支撑业务流程重构重构后的流程允许更多 Agent 进入更多的进入又带来更多经验自动化范围随之进一步扩大。当行业中的一家公司进入这个循环其他企业承受的压力也会逐渐增加。竞争机制于是形成一只 Agent Competitive Ratchet——Agent 竞争棘轮。棘轮的特点是只能向一个方向越来越紧。一家银行如果把某个流程从一天压缩到十分钟其他银行很难永远维持一天一家软件公司如果一个工程师可以同时管理多个 Coding Agent竞争者很难长期维持完全人工的软件生产方式一家运营型企业如果 Agent 能够全天候处理大量重复性决策同行也很难靠我们的流程更加传统来抵消成本差距。这并不意味着所有 Agent 项目都会成功也不意味着棘轮已经咬紧。行业调查仍然显示出明显的 production gapLangChain 在 2025 年底面向 1300 多名从业者进行的调查中57% 表示已经有 Agent 在生产环境运行比上一年的 51% 有所上升但质量问题——包括幻觉与评估体系缺失——依然是最主要的生产障碍之一。也就是说大量企业正在追赶真正进入有意义生产规模的仍然只是其中一部分。真正重要的从来不是所有企业今天都已经采用 Agent。而是一旦某些企业证明 Agent 可以在不完美状态下持续创造正净收益同行的决策函数就会被改变。棘轮不需要所有人同时转动它只需要有人先转动一格。五、安全行业可能犯下一个非常昂贵的错误这给 AI Safety 带来了一个相当尴尬的挑战。如果安全体系最终给企业的答案是Agent 不可靠所以不要让它进入生产短期来看这当然最安全。但只要上一节描述的棘轮成立这就可能是一种无法持续的安全策略——因为它并没有消灭风险只是把风险从 Execution Risk 转移成了 Competitive Risk。企业最终仍然需要承担其中一个而它未必有权选择承担哪一个。被拒之门外的安全体系还会产生一个副作用当业务部门发现合规路径意味着什么都不能做它们并不会停止使用 Agent只会绕开安全部门去使用。风险不会因为被禁止而消失只会因为被禁止而不可见。所以 Agent 时代真正有价值的安全问题可能需要从一个提问逐渐扩展到另一个提问。从How do we make the Agent safe enough to act?到How do we make the environment safe enough for an imperfect Agent to act?这两个问题看似接近背后的工程哲学却完全不同。第一个问题希望 Agent 尽量不犯错它的隐含前提是错误可以被收敛到零。第二个问题首先承认一件事一个具有概率性、复杂性和自主性的系统不可能被假定为永远正确。既然如此安全系统就必须回答另一个问题如果它错了它到底能够造成多大的后果六、从降低错误概率到限制错误后果风险工程里有一个非常朴素的关系Expected Loss Probability of Error × Impact今天绝大多数 Agent Safety 技术主要集中在左边那一项。提高模型能力、增加 Evaluation、优化 Prompt、加入 Guardrail、进行 Alignment、引入 Human Review目的都是降低 P(Error)。这些工作非常重要也确实有效但它们共享同一个上限概率可以被压得很低却无法被压到零。于是还有另外一条道路。即使 P(Error) 0能不能系统性地降低 Impact这条道路的具体形态其实非常朴素。一个采购 Agent 可以判断错误但它每天最多只能采购 5000 美元它可以理解错误但只能向预先确认的供应商付款它可以选择错误的操作但不能自行修改收款账户它可以在一个动作上失误但不能把单次错误扩散成一万个并行动作。它甚至可以持有完全合法的 Credential但最终动作仍然需要满足一组独立于 Agent 本身的执行条件。在这样的设计里安全目标已经从Prevent every error悄悄转向Bound the consequence of error——不再追求消灭错误而是限制错误能够造成的现实后果。有意思的是企业实践正在往同一个方向走。BCG 今年在讨论企业 AI 控制平面Enterprise AI Control Plane时给出了一个很务实的判断Agent 在大型企业中扩张的速度正快于决策者设计治理框架的速度而那些把身份、策略执行、可见性与治理嵌入标准化黄金路径的企业反而能够更快地部署 Agent同时降低风险。换句话说治理并没有拖慢它们。这意味着治理和生产率并不天然对立。设计得当的安全基础设施甚至可能是 Agent adoption 的加速器——它让原本不敢放进生产的业务第一次变得可以放进生产。七、真正值得关注的可能是第三种企业顺着这个逻辑未来企业之间的差异也许并不是简单地分成使用 Agent和不使用 Agent。更有意义的分类可能是三种。第一种企业选择不让 Agent 真正执行。它获得较低的直接执行风险但承担越来越大的非采用风险也就是第二章里那种不会被写进事故报告的失败。第二种企业选择尽可能扩大 Agent 自主权。它可能迅速获得效率优势但同时把模型的不确定性直接转换成现实世界的不确定性——一次判断偏差就是一次真实的资金、系统或生产变更。真正值得关注的是第三种企业它大量使用 Agent但并不把最终执行权完整交给 Agent。在这种架构里Agent 可以思考可以规划可以调用工具可以生成动作甚至可以高度自主地完成绝大部分业务。但当一个动作真正准备改变资金、系统、账户、生产环境或者物理设备时存在另一套独立机制来判断谁发起了它要执行什么对象是谁参数最终变成了什么当前状态是否仍然满足条件它是否超出了允许的边界凭什么相信这次执行仍然成立执行之后如何证明真正发生了什么。这套机制的关键属性是它保留了一种最朴素的能力——在条件不成立时拒绝执行而且这种拒绝不依赖于 Agent 自己是否愿意被拒绝。这种架构的意义并不是让 Agent 变得更聪明。恰恰相反它建立在一个更加保守的假设之上一个合法、善意、甚至整体判断相当可靠的执行者仍然可能在某一次具体动作上判断错误。因此值得信任的不应该只是执行者本身而应该是执行发生的结构。不要要求一个智能系统永远正确而要设计一个即使智能系统错误现实仍然具有边界的系统。这也是一次很容易被忽略的重心转移从可信的人走向可信的结构。八、Agent Safety 最终可能成为一种生产基础设施如果把这个逻辑继续向前推会出现一个值得讨论的结论。过去我们容易把 Agent Security 看成一个纯粹的成本项Agent 越危险企业就需要投入越多的钱限制它。这种视角下安全永远站在生产的对面。但如果安全基础设施能够显著降低一次 Agent 错误造成的现实损失它实际上就在降低 R_A——企业采用 Agent 的风险。而一旦采用风险下降第三章里那个临界点就会移动原本尚未跨过经济门槛的业务突然变得可以进入生产。换句话说安全基础设施不仅负责阻止事故它还可能改变 Agent 的经济采用临界点。这也意味着未来最重要的一类 Agent 安全技术可能并不是站在生产系统之外不断告诉企业不够安全不能用而是进入生产基础设施内部告诉企业它仍然会犯错但我们可以明确它最多能够做什么。同时治理的对象也会发生一次位移。当模型能力本身越来越难以被外部完整验证可验证的东西就只剩下动作——谁在什么条件下让什么事情真的发生了。于是 AI 治理的重心会自然地从监督模型逐渐移向监督执行。这是一种完全不同的价值。它不是Security against Agent Adoption而是Security for Agent Adoption。九、历史并不会等待完美的机器Agent 时代可能最终不会出现一个非常清晰的日期宣布从今天开始 AI 已经足够安全可以进入现实世界。更可能发生的是一种缓慢但不可逆的变化。一家企业先放进去一点发现可以工作于是扩大一点发生一些事故重新建立边界再扩大一点生产率继续提高然后竞争者开始跟进。没有哪一步是历史性的但所有步骤加在一起是。最终整个行业会突然发现讨论的问题已经从Agent 应不应该进入生产变成了我们应该允许 Agent 在生产里走多远那时企业真正需要回答的就不再只是一个 AI 能力问题而是一个关于权力的问题当机器越来越多地参与真实业务谁拥有让一个动作最终发生的权力这个问题的答案决定了前面所有讨论的性质。因为需要被治理的其实从来不是某一个模型也不是某一个执行者而是那种不受约束地把判断直接变成现实的权力——无论持有它的是人还是一个足够聪明的系统。也许Agent 时代真正的基础设施变化并不会首先发生在模型里面而会发生在模型与现实之间。因为一种技术真正进入历史的时刻往往不是它终于变得毫无风险而是拒绝它的代价开始高于使用它的代价。当那个临界点到来以后企业已经无法再通过拒绝 Agent 来解决 Agent 的风险。它们只能开始学习一件更困难、也更重要的事情如何让一个并不完美的智能体安全地拥有改变现实的能力。