
图 1|版本变更与回退要有可复现的记录,升级验收从读数而不是感觉开始
2026 年 11 月 3 日的一组产业报道把调试、跑测、灰度写进了智能体的发布动作本身,同时提出多版本并存、答错就退回;两天后发布的智能体产业蓝皮书把关键系统写操作强制留痕与回滚列为分级共识(腾讯新闻 2026-11-03;维科网 2026-11-05)。同一时期,另一份面向 400 多位 CIO 的年度调研给出一组反差数字:72.4% 的企业在增加企业 AI 投入,但不足四成能说清自己改变了哪条核心流程,31.8% 尚未建立系统性的价值衡量机制(CIO 时代/红帽《2026 中国企业级 AI 实践调研分析年度报告》,2026-10-30 论坛发布)。
升级不是模型更新,是一次带着存量场景的重新上线。
多数团队把版本升级当成技术侧动作:换个模型、加个工具、调一段提示词,跑一遍冒烟测试就切流量。真正出问题的往往不是新版本本身,而是新版本改了旧场景赖以成立的某个前提——某个业务对象的取数路径、某次审批的触发条件、某个部门自己加的例外规则。这些前提很少写进需求文档,只写在「一直这么跑」里。于是验收会上最常听到的一句话是「这两天没收到投诉」,而投诉是滞后指标,等它出现,错的单据已经进了下游系统。
「没报警」和「做对了」是两件事。监控看的是进程活着、接口不报错、耗时没恶化;业务验收看的是同一条任务在新版本下有没有得到同样的结果,以及结果能不能反查回输入与授权。进程健康但把「客户」映射到另一个对象,监控不会响。
2026 年 11 月 4 日中国经济新闻网转引的厂商落地标准给了一条更硬的时间尺度:能不能接上已有审批流、业务数据和权限体系,连续跑三个月不出结构性故障。这句话放在升级场景里同样成立——一次升级至少要在观察窗内证明,它没有把某个部门的长尾任务悄悄改坏。因此验收单上要写的是读数,不是感受。
三项读数被反复提到:任务完成率、人工介入次数、单条任务耗时。它们各自回答一个问题——活有没有干完、人有没有被拽回来、慢了多少。但三项读数只有按部门切才有意义。全局平均值会把「A 部门一切正常、B 部门全线转人工」抹成一个还不错的数字,而 B 部门往往正是权限最复杂、例外最多的那一个。
读数不按部门切,等于没测。

图 2|智能体运行与控制底座,验证评测与治理安全是两条独立底座
升级前就要把统计口径写成一页纸,升级后不再改。口径没定死,两边各取各的分子分母,验收会必然变成争论。
| 读数 | 分子分母怎么定 | 切分维度 | 采集位置 | 不能当结论的情况 |
| 任务完成率 | 分子=在规定时限内产生可核查业务结果的任务数;分母=进入该流程的全部任务(含失败与超时) | 部门 × 流程 × 新旧版本 | 业务流程结果表,不看智能体自报 | 只统计成功调用、把人工接手的任务从分母里剔除 |
| 人工介入次数 | 每次从自动流转切到人工处理的动作记 1 次,含驳回、补录、重试 | 部门 × 介入原因 | 审批流与操作日志 | 把「人工确认」这类设计内的必经节点剔除后报「零介入」 |
| 单条任务耗时 | 从任务发起到业务结果落库的端到端时长,含等待与回滚 | 部门 × 任务类型 × P50/P95 | 链路追踪时间戳 | 只报模型推理耗时,不含取数与写回 |
三项里最容易被动手脚的是分母。2026 年 10 月 26 日人民邮电报报道的企业级 Agent 评测基准白皮书把评测口径从跑分转向「能否把活干完、干对、留下可核查结果」,并配了 4 套评测集、1400 多道题;这个转向同样适用于升级验收:分母里必须留着失败样例,否则报告只证明「成功的那些都成功了」。
还有一条容易被忽略的口径:把设计内的人工审批节点与异常导致的人工介入分开记。前者是合规要求,后者是能力退化。混在一起,升级前后都显示「人工介入 30%」,谁也看不出新版本是不是把原本自动过的任务推给了人。

图 3|治理平台里的评估与优化域,对应失败样例、回归与人工介入记录
灰度不是按用户比例随手切 5%,是按风险切。已部署场景里,读操作和写操作、低风险和高风险、单部门和多部门交叉,风险不是一个量级。合理的分组顺序是:先放只读、单部门、可重跑的任务;再放跨部门只读;最后才放带写操作的任务。资金支付、合同签署、主数据变更这类动作,在灰度期就应保留人工确认节点,不因读数好看而提前放开。
触发线要在切流量之前写进值班表,而且必须是可自动判定的条件,不是「发现不对就退」。可用的写法是:某个部门的任务完成率相对旧版本基线下降超过约定幅度,或人工介入次数连续两个统计窗高于基线,或出现任一笔写操作与预期业务结果不一致,三项任一命中即触发退回。把「与预期业务结果不一致」列为独立触发项,是因为前两项读数都可能滞后,写错一条数据却是当场发生。
2026 年 11 月多份产业材料提到「答错就退回」与「多版本并存」,说的正是同一件事:退回不是事故后的补救动作,是发布动作自带的分支。它要求旧版本在观察窗内保持可调用,而不是升级成功当天就下线。
切回权限要写进值班表。
具体写清三件事:谁有权限发起切回、切回前要不要业务方确认、切回后未完成任务怎么续跑。缺第三项最常见,结果是版本退回去了,卡在中间态的单据没人管,第二天对账多出一笔差异。

图 4|数智员工从建档到退役的全周期管理,版本并存期间身份要能追到
多版本并存是灰度期的常态,也是责任最容易模糊的一段。这里要分开三种角色:技术侧负责判定读数是否触发阈值,业务侧负责判定结果是否可接受,运维侧负责执行切回与流量切换。把三种角色压给同一个人,通常意味着触发线会被「再观察一天」反复推迟。
一张可当场核对的验收单,最后应当长成这样:版本号与上线时间、灰度分组与放开的先后顺序、三项读数的口径与基线值、按部门切的新旧版本对照、触发线与触发后的处置动作、切回权限人与值班联系方式、观察窗长度与结束条件、未完成任务的中态处置、旧版本下线时间。九项里最常被省掉的是「观察窗结束条件」——不写结束条件,多版本并存会无限期拖下去,两套口径的数据越积越多,最后谁也说不清哪套是准的。
观察窗长度不必一律照抄「三个月」。可以按任务频次定:高频日跑任务,两周内积累的样本已足够看出部门差异;月结类任务至少要跨一个完整结账周期,否则拿不到最关键的那批样例。判断标准是「覆盖了每个部门至少一轮完整业务周期」,不是「过了多少天」。
它证明的是「这次升级没有把已部署场景改坏」,不证明新版本更好。要证明更好,得另外设一组提升目标,比如某部门人工介入次数下降、单条任务耗时 P95 缩短,并且用同一套口径在观察窗结束后复测。把「没坏」和「变好」写成两份结论,能避免验收会上把不加分说成加分。
它也不替代合规准入。权限、日志、留痕、身份标识这些项是上线前就该过完的门槛,升级验收默认它们仍然成立;如果新版本动了权限继承或写操作范围,就要重新走一遍准入,而不是只在验收单上加一行备注。
灰度期没收到报错,是不是就可以全量放开?
不能只看报错。要把三项读数按部门切出来与旧版本基线对照,尤其看人工介入次数——很多能力退化不报错,只是把任务悄悄转给了人。
旧版本要保留多久?
至少覆盖一个观察窗,且覆盖每个部门的完整业务周期。月结、季结类任务要跨过对应结账日再下线,否则最关键的那批样例没被验到。
三项读数一定要全采吗?
任务完成率与人工介入次数建议全采,这两项决定「活有没有干完」。单条任务耗时可以只在重点部门采 P50/P95,但口径要与升级前一致,否则前后不可比。
触发退回会不会影响业务连续性?
触发线本身应该按「可重跑任务先退」设计。带写操作的高风险任务在灰度期保留人工确认,退回时按中态清单逐笔续跑或补录,比事后从日志里捞差异省事得多。
能不能用一次全量回归测试代替灰度?
回归测试验的是已知用例,灰度验的是真实长尾。已部署场景里的部门例外规则、历史脏数据、跨系统口径差异,通常写不进测试用例,只能靠灰度暴露。
本文观点