单击上方“图灵人工智能”，选择“星标”公众号

您想知道的人工智能干货，第一时间送达

一笔退款，让一个读懂所有规则的 Agent 在最后一步停下。AI 并非把错误带进一个无错的世界，而是在重新分布错误；当它真正进入生产，企业必须重新说明自己由什么构成、准备保护什么，以及如何让人机系统从后果中学习。

▲ 企业运行模型由业务对象、权限门槛、承诺与反馈共同组成

一张退款单，照出一家公司的真实结构

想象一笔退款，让一个已经通过演示的客服 Agent 在最后一步停了下来。

这不是某家公司的真实复盘，而是把许多企业 AI 项目里常见的冲突，压进了同一张订单。

售后政策写着：满足条件，可以退款。

财务系统显示：这笔订单已经过账，不能原路退回。

销售在工作群里承诺过：这个客户可以特殊处理。

风控制度又规定：超过某个金额，必须由负责人复核。

Agent 把四份材料都读对了。

它没有幻觉，也没有漏掉关键信息。恰恰因为它全都读懂了，矛盾才第一次完整地摆在公司面前。

过去，客服要在几个系统之间切换，再去群里找人。一部分规则写在制度里，一部分经验留在老员工脑中，还有一部分权力只在组织关系中生效。每个人只看见自己面前的那一段，所以流程虽然缓慢，却还能靠人不断补缝向前走。

AI 用几十秒把这些材料放在了一起。

它做的第一件有价值的事，甚至不是给出答案，而是让四个原本分散的答案同时出现。

团队最初想继续改 Prompt、补数据、做微调，或者换一个更强的模型。可它缺的不是第五份材料。真正缺失的是：当四份材料同时有效时，什么更重要，谁有权例外，出了问题又由谁承担后果。

直到项目组坐到客服旁边，问了一句技术文档里没有的话：

这些规则冲突时，过去到底是谁决定？为什么？

客服说，要看客户关系、投诉风险、订单金额和事情有多紧急。有时销售负责人决定，有时财务负责人决定；经验丰富的客服还会先安抚客户，再到群里补审批。

这些做法没有完整写进制度，也没有稳定留在系统里。它们散落在人的经验、关系和一次次临场协调中。

AI 先消灭了信息摩擦，随后撞上的，是组织摩擦。

AI 能帮企业做什么，又会把什么问题照出来

今天，AI 在企业里最先显现的价值已经很具体。

它可以搜索大量文档，归纳工单，提取合同条款，生成报告和代码，比较相似案例，也可以连接工具，替人完成一串原本需要跨系统操作的步骤。

一项覆盖 5,179 名客服的研究发现，生成式 AI 使每小时解决问题数平均提高约 14%，经验较少的员工提升更明显。这很像把组织里原本只掌握在少数人手中的优秀做法，更快地传播给更多人。

但帮助并不均匀。

另一项纳入 758 名知识工作者的随机实验发现，在 AI 能力边界内，参与者完成任务更快、更多；面对一项表面相似却越过能力边界的任务时，使用 AI 的人反而更容易答错。

这两项研究放在一起，说明的不是 AI 到底“有用”还是“没用”，而是它的价值高度依赖任务、上下文、反馈和人能否识别边界。

在退款案例里，查规则、汇总材料、寻找相似订单，都属于 AI 已经很擅长减少的信息成本。可一旦系统要改变订单状态、承诺客户、移动资金，它面对的就不再只是知识问题。

一份摘要写错了，还可以重写；一笔款退错了，会改变账务、客户关系和责任归属。

从“读懂”到“建议”，再从“建议”到“行动”，每往前一步，技术问题都会更深地进入组织内部。

数据表里的同一个词可能指向不同状态，几条制度可能没有优先级，正式权限与实际决策权可能并不一致，系统也可能只记录动作已经提交，却没有记录客户最终是否收到钱。这些缺口不会因为模型更强就自动消失，反而会随着行动速度一起被放大。

AI 不会只进入一条流程。它会进入公司理解自己、协调自己和纠正自己的方式。

AI 不是从一个无错的世界进入公司

这里很容易形成一种错觉：退款流程原本可靠，是 AI 加入以后才有了风险。

可在没有 AI 的时候，人也会漏看条款、记错信息、疲劳分心、受经验偏见影响；一次交接会丢掉上下文，同一件事交给不同的人，也可能得到不同答案。

这些问题通常不叫“幻觉”。它们被等待、返工、关系协调和老员工的临场补丁吸收，或者被拆成某个人的一次失误，很少作为同一种系统问题被放在一起计算。

AI 加入以后，改变的不是“有错”与“无错”，而是错误的结构。

在边界清楚、资料可查并经过验证的任务里，它有机会减少漏查、遗忘和重复执行偏差；也会暴露一部分旧错，让过去分散在部门和系统里的矛盾第一次同时可见。它还会新增自己的错误，例如编造事实、误解语境、在不确定时仍显得过度肯定；更会放大某些旧错，让一个有问题的定义、指标或规则以软件速度稳定复制。

AI 的增量被组织吸收，组织的旧缺口却可能在被它照亮以后，算到它头上。

这句话是一种值得检验的组织观察，不是已经被单一研究证明的普遍定律。但行为实验确实发现，人们没有用同一把尺子衡量人和算法。

Dietvorst 等人的预测实验显示，即使算法总体仍优于人类，只要参与者亲眼看见它犯错，就会比看见人类预测者犯错更快放弃算法。可另一些“算法偏爱”实验又发现，在某些判断任务中，普通人会给算法建议更高权重；自动化研究也长期记录了人在可靠系统面前产生过度依赖的情形。

这些倾向并不是一个固定的先后过程。在不同任务和情境中，人们既可能因为建议来自算法而给它更高权重，也可能在亲眼看见一次错误后，比对待人类判断更快地失去信任。任务类型、使用者是否熟悉领域，以及错误是否被亲眼看见，都会改变反应。

在组织里，还可能出现另一种需要继续验证的不对称：更快的回复、更高的产量和更短的等待时间，会很快进入服务标准、绩效指标和客户预期，变成“本来就该如此”；一次怪异输出却醒目、可截图、可复现，也很容易被单独命名为“AI 事故”。

但这不能成为替 AI 开脱的理由。制度、指标和统一培训本来就会让人的错误相关；共享同一个模型，则可能进一步减少判断多样性，把原本分散的决策耦合起来，并让共同错误传播得更快。关于“算法单一化”的理论研究甚至表明：单点平均准确率可以提高，但被多个机构反复评估的人，仍可能因为失去独立判断带来的第二次机会而受损。

责任的流向也不是单向的。有的实验发现，同样的错误贴上“算法”标签后，人们反应更负面，却更少把它当成一个可以承担道德责任的主体；另一些实验又发现，只要系统名义上保留了“人工模式”，即使人实际上来不及干预，旁观者仍会分配给他更多责任。

于是，AI 有时成了问题的名字，人却成了责任的落点。

企业真正要比较的，不是 AI 会不会犯错，更不是让 AI 与一个永不疲惫、信息完整的理想专家比赛。公平的基线，是加入 AI 以后的人机系统，与今天真实运行的人、流程和制度相比发生了什么。

除了平均正确率，还要看错误的严重程度、能否被发现和撤回、是否会相关地大规模扩散、节省了多少时间、代价落在谁身上，以及最终业务结果有没有改善。

在那张退款单前，Agent 停下来未必是失败。面对授权不清、后果难以撤回的动作，知道何时停手，可能恰好是可靠系统的一部分。

企业要建的不是一个修好一切的 AI，而是一个比现状更可靠、让错误更可见、让后果更可纠正的人机系统。

一家公司，究竟由什么构成

很多企业谈 AI 化，第一反应是整理数据。

客户表、订单表、合同库、产品目录、员工目录、审批记录——这些当然重要。但数据库主要回答“存了什么”，还没有完整回答“这些东西在业务里意味着什么”。

一家公司也不只是部门、流程和软件的集合。

它首先要回答：准备为谁创造什么结果，靠哪些独特能力、资源和关系做到，怎样在可承受的成本与时间里持续兑现，又有哪些承诺和风险边界不能为了短期数字而牺牲。

它更像一张持续变化的承诺网络：企业向客户承诺产品和服务，员工向组织承担职责，销售向客户作出交付承诺，财务维护账务真实性，管理者分配资源与决策权，企业还要面对合同、监管和公共责任。

退款之所以复杂，不是因为一行订单数据太难理解，而是因为它同时牵动了几种承诺。

客户认为企业承诺了可退款；销售又额外承诺了特殊处理；财务必须保证账实一致；风控则要确保某些损失不能由一个人随意放行。

有人会把这张可共享的承诺网络称为企业本体或 enterprise ontology。这个名字并不重要，真正重要的是它包含什么。

如果只把客户、订单、合同和产品画成一张关系图，它仍然太薄。

面向行动的业务世界还要知道：一个对象现在处于什么状态，状态怎样随时间变化；哪些动作可以改变它；什么证据足以支持这个动作；谁可以执行，谁可以批准，谁可以提出例外；动作失败后能否撤回；什么才算结果真正发生。

它还必须包含企业准备保护的价值。

“客户第一”不是一个可以直接调用的接口。只有当客户体验与财务真实性、普通客户的公平、风险控制和员工负担发生冲突时，企业实际如何排序，这句话才开始拥有业务含义。

因此，一家公司最核心的东西，未必是它拥有多少数据，而是它选择为谁创造什么价值，能否凭独特能力兑现承诺，冲突时先保护什么，又愿意为这种选择承担什么代价。

当通用的认知与生成能力越来越便宜，企业更难复制的部分，也许正是这套价值选择、兑现承诺的能力，以及从后果中改写自己的速度。

这些价值最终要落进非常具体的地方：指标怎样定义，例外由谁批准，哪些动作必须停手，哪些损失可以接受，受影响的人有没有申诉和纠错的渠道。

数据库回答“存了什么”；企业的业务世界回答“什么在这里真实存在，它意味着什么，谁能让它发生改变”。

如果这个世界只描述对象，AI 最多拥有一张更聪明的地图；加入动作与权限，它才可能安全地改变现实；再让真实后果回来修改地图，企业才开始拥有学习能力。

历史和经验，都只能提供证据

当企业发现许多判断没有写进系统，最自然的补救是把全部历史交给 AI。

过去所有订单、审批、聊天纪要和处理结果，确实能暴露稳定模式，也能让人看见书面流程与真实行动之间的距离。

但历史有一个无法靠数量自动填满的空白：每一次决定，通常只留下被选择的那条路。

一次退款被批准以后，我们可以看到客户有没有留下，却看不到如果当时拒绝，他会不会同样续约；一次特殊处理保住了重点客户，也不能告诉我们，把同样的例外给普通客户会发生什么。

机器决策研究把这类问题说得很清楚：历史数据本身就是过去决策的产物。我们能看到获准行动以后发生了什么，却常常看不到被拒绝的另一条路会怎样。

AI 可以借助可比案例、实验或因果假设估计这些反事实，但估计不是观察。

而且，历史记录了过去怎样选择，并不证明过去的选择就是正当的。重点客户总能得到例外，可能来自清楚的经营战略，也可能只是权力更大的人更容易被听见。

老员工的经验也有同样的两面。

那位资深客服没有立刻从四条规则里选一条。她先看客户近期的订单和续约进展，确认财务所说的“不能退”究竟是绝对禁止，还是需要改走另一条账务路径；随后要求销售把口头承诺变成可以追踪的审批，最后才向客户说明处理节点。

她对顺序、证据和时机的把握，可能压缩了多年失败经验，也可能混入已经过时的习惯和组织偏见。

所以，历史和经验都不该被原样复制进系统。它们应当先变成可以检验的假设：当时看见了什么证据，考虑过哪些方案，为什么放弃另一些选择，哪里仍不确定，后来真正发生了什么。

今天多数企业积累的是交易记录和操作日志。未来更有价值的，可能是一种“决策记忆”。

交易记录告诉系统做了什么；决策记忆还告诉它为什么这样做、当时没有走哪条路，以及结果回来以后，原来的判断是否仍然成立。

历史是证据，不是授权；经验是材料，不是裁决。

企业 AI 化，是重新接通现场、规则与系统

看见业务世界的缺口以后，企业很容易再次走向另一个极端：先画一张覆盖全公司的宏大蓝图，再期待所有部门照着改造。

更可靠的起点，仍然是那张具体的退款单。

需要有人沿着它穿过客服、销售、财务和风控，找出同一个对象在不同系统里的定义差异，确认实际决策权在哪里，追踪一次动作怎样产生真实后果，再把这些内容翻译成状态、关系、权限、工具、停止条件和评价案例。

这项工作既不是等业务方交付一份完整需求，也不是坐在模型旁边不断调整提示词。

它要求人贴着现场工作：能理解业务为什么犹豫，也能进入数据、代码和系统；既把反复有效的经验变成可执行方法，也保留那些尚未被证明、仍需争论的部分。

AI 本身也可以参与这项改造。

它可以阅读大量工单和操作日志，聚类常见例外，比较人和系统的分歧，发现不同部门对同一个词的用法不一致；还可以生成连接代码、测试案例和初步规则，让人把精力放在真正需要选择的地方。

但最初不要急着让它执行。

团队可以先让 AI 只给建议，与现行流程并行比较。最值得记录的不是采纳率，而是人为什么拒绝建议。拒绝理由常常会暴露遗漏的对象、错误的指标、模糊的权限，以及那些尚未进入系统的后果。

下一步也不是简单统计谁更准，而是追到真实环境里：客户是否收到钱，投诉有没有升级，账务是否一致，这次例外又让谁承担了额外成本。

等优先级、停止条件和后果都能被看见，再逐步交出边界清楚、可以撤回的动作。低风险、可逆的部分可以自动执行；高影响、难以补救的动作则交给真正拥有决定权的人。

落地的目标不是尽快把人删除，而是让人不必继续用沉默的临场补丁，维持一套表面完整的系统。

当 AI 继续增强，公司会变成什么

下面是一种推演，不是确定的时间表。

如果 Agent 越来越能长期理解上下文、调用工具、规划步骤并根据反馈修正行动，企业内部的协调与执行成本会继续下降。软件的中心也可能慢慢离开界面：人表达意图、约束和期望结果，Agent 再去调用订单、合同、库存、支付和审批能力；界面则退到观察、纠错和处理例外的位置。

当具体路径可以动态规划，固定流程会随之变薄。过去的流程试图提前写出每一步，未来一部分制度会更像“目标、边界与验证”：哪些结果值得追求，哪些约束不可越过，什么时候必须升级，怎样证明任务真的完成。

流程一旦不再被某个软件界面锁住，部门之间的边界也会改变。工作未必还要沿着客服、销售、财务、法务逐层传递，而会更多围绕客户、合同、资产、订单和承诺展开。部门不会因此消失，但它们存在的理由会从“我掌握这个系统”，转向“我拥有这类专业判断、资源和责任”。

一项纳入 776 名专业人员的预注册实验提供了一个很早期的线索：个人在 AI 帮助下的表现可以接近没有 AI 的双人团队，研发与商业人员各自产生的方案也变得更兼顾技术和市场。它不能证明团队将消失，却说明 AI 可能重新分配专业知识，改变过去依赖跨职能协作才能完成的部分工作。

当汇总信息、分派任务、追踪进度和例行审批越来越多地被系统承担，管理者的价值会更集中在定义目标、配置决策权、处理价值冲突、保护长期关系和设计反馈。管理不再只是让事情流动，也要决定什么不该因为流动得更快而被牺牲。

与此同时，企业记忆会从“发生过什么”走向“为什么这样决定”。系统不仅保留交易结果，还保留证据、被拒绝的选项、不确定性和真实后果。AI 也可能据此发现书面流程与真实流程的差异，提出新的对象、规则和评价方式；但这些建议仍然只是对承诺网络的解释，不是自动生效的真理。

这里最危险的，是被自动化的定义。“投诉风险”如果天然偏爱声音更大的客户，“高绩效”如果只计算短期数字，“最佳实践”如果只来自总部，AI 会让这些局部视角变得更稳定、更迅速，也更难被看见。

所以，未来企业真正稀缺的也许不是某个通用模型，而是一张清楚却可以被质疑的承诺网络、经过真实后果检验的判断，以及让不同声音能够修改组织解释的能力。

有些东西，不会从模型能力里自然长出来

当 AI 可以完成更多动作，人当然不必在每一步都点一次确认。已经充分验证的低风险操作如果仍需机械审批，只会制造新的瓶颈，也会让监督变成没有注意力的仪式。

人真正需要保留的，是几种更实在的权力：看见系统依据什么行动，在高影响处停止它，反驳目标和对象定义，并让反对理由进入下一轮修改。

随着模型增强，检索、预测、规划和执行能力还会继续增长。但企业为何存在、冲突时牺牲什么才算正当、谁能授权、谁承担后果、受影响的人如何申诉，并不会在准确率继续上升以后自然涌现。

这些不是模型参数，而是组织安排。

模型可以预测哪种退款方案最可能保住客户，却不会因为预测更准就自动获得为重点客户破例的授权。要不要接受公平上的代价，企业必须用一种可以被质疑、也有人承担后果的方式作出选择。

责任必须与控制权放在一起。

如果审核者只有几秒钟和一个确认按钮，看不到背景，也无权改变流程，他不是监督者，只是事故发生后的责任落点。

AI 可以帮助澄清冲突、估计后果并提出方案，却不能仅凭能力为自己授予权限，也不能把历史上出现最多的选择自动变成正当选择。

这与人是否拥有某种机器永远学不会的神秘判断力无关。任何能够改变现实的判断，都必须有来源、有边界、可以被反驳，并由拥有相应控制权的人和组织承担后果。

被改造的是公司理解自己的方式

回到那张退款单。

未来更强的 Agent 也许能识别四份材料属于不同语境：财务上的“不能原路退”不等于商业上“不能补偿客户”，销售承诺不等于已经获得行动权限，满足售后条件也不等于可以跳过风险复核。

它可以找到真正的授权人，提出几种方案，说明每种方案依据了什么、仍有哪些不确定性；在边界清楚的地方执行，在影响重大的地方停下，并在最后验证客户是否到账、账务是否一致。

更重要的是，这次冲突不再随着订单关闭而消失。它会推动公司修改那个造成冲突的旧定义、旧权限或旧流程。

客户等到的不该只是一句更快生成的回复，而是一项真的被履行的承诺。客服也不该继续靠个人经验替制度补洞，再在事故发生后独自承担责任。

公司由此获得一种新的能力：看见自己怎样作出选择，把选择变成可执行的结构，再让真实后果回来修改自己。

真正 AI 化的企业，不在于拥有多少 Agent，而在于能否说清自己准备保护什么、允许谁改变什么，怎样知道承诺已经兑现，又能不能在后果到来以后承认自己可能错了。

AI 会越来越会做事。

当它把所有矛盾同时照亮，企业就再也不能把选择和责任藏在系统之间。

本公众号延伸阅读

• 《当界面消失以后：AI 时代，人还要证明自己有用吗？》
• 《预测得再准，也可能做错决定——AI 为什么还不懂“因为”？》
• 《你的数据进了 AI 以后，还属于你吗？》
• 《意义是注意力的目标函数：每一次看见，都是一次取舍》

参考资料

1. Erik Brynjolfsson, Danielle Li, and Lindsey R. Raymond, Generative AI at Work, The Quarterly Journal of Economics, 2025.
2. Fabrizio Dell’Acqua et al., Navigating the Jagged Technological Frontier, Harvard Business School, 2023; Organization Science, 2026.
3. Fabrizio Dell’Acqua et al., The Cybernetic Teammate: A Field Experiment on Generative AI Reshaping Teamwork and Expertise, NBER Working Paper 33641, 2025.
4. Jon Kleinberg et al., Human Decisions and Machine Predictions, NBER Working Paper 23180, 2017; The Quarterly Journal of Economics, 2018.
5. Thomas R. Gruber, A Translation Approach to Portable Ontology Specifications, 1993.
6. Mike Uschold et al., The Enterprise Ontology, 1998.
7. Palantir, Ontology Overview, Actions, and Ontology Permissions, accessed 2026-08-08.
8. Michael Polanyi, The Tacit Dimension.
9. Martha S. Feldman and Brian T. Pentland, Reconceptualizing Organizational Routines as a Source of Flexibility and Change, 2003.
10. OpenAI, A Practical Guide to Building Agents, 2025.
11. NIST, AI Risk Management Framework 1.0 and Human-AI Interaction, 2023.
12. Madeleine Clare Elish, Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction, 2019.
13. Berkeley J. Dietvorst, Joseph P. Simmons, and Cade Massey, Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err, 2015.
14. Jennifer M. Logg, Julia A. Minson, and Don A. Moore, Algorithm Appreciation: People Prefer Algorithmic to Human Judgment, 2019.
15. Linda J. Skitka, Kathleen L. Mosier, and Mark Burdick, Does Automation Bias Decision-Making?, 1999.
16. Lauren A. Renier, Marianne Schmid Mast, and Zhanna Bekbergenova, To Err Is Human, Not Algorithmic—Robust Reactions to Erring Algorithms, 2021.
17. Mariel Arnestad et al., The Existence of Manual Mode Increases Human Blame for AI Mistakes, 2024.
18. Jon Kleinberg and Manish Raghavan, Algorithmic Monoculture and Social Welfare, 2021.

AI-lab学习笔记

文章精选：

1.图灵奖得主姚期智最新演讲： AI有边界，恰恰是好事