
图 1|进生产的五道关像逐层验板卡,哪一关都不能跳过
2026 年 10 月 26 日人民邮电报报道的一份企业级 Agent 评测基准白皮书给出 4 套评测集、1400 多道题,把评测口径从跑分转向「能否把活干完、干对、留下可核查结果」;同年 11 月 4 日中国经济新闻网转引的厂商落地标准更直接:能不能接上已有审批流、业务数据和权限体系,连续跑三个月不出结构性故障。这两句话放在一起,勾出了进生产门槛的真实位置——它不在模型能力,在这套东西敢不敢碰真实业务数据。
「测试通过」和「可以进生产」不是一件事。
测试环境里,业务对象是干净的,权限是配好的,接口是通的,异常样例是可控的。生产环境里,同一条任务会撞上历史脏数据、部门自己加的例外规则、跨系统口径不一致,以及一个正好在月末结账时到期的写操作。多数上线后第一周的故障都不是新 bug,而是某个前提在测试环境里被默认成立,到了生产里没人替它兜底。
于是验收需要从「跑一遍看看对不对」变成五道关:每关有明确的通过判据、不通过时的处置动作、以及一个具体签字人。缺了判据,评审会变成感觉投票;缺了签字人,出了问题没人认领。2026 年 11 月 3 日一组产业材料里,安全团队把「audit-by-default」作为批准扩量的前提,用到首次进生产同样成立:默认可验证,才放行。

图 2|验证评测与治理安全两条底座,对应五关里的正确性与回滚演练
下面这张表可以直接当放行勾选表。每关的判据都写成可当场核对的条件,不写「表现良好」「基本稳定」这类无法判定的词。
| 关 | 验什么 | 通过判据 | 不通过怎么处置 | 谁签字 |
| 一 · 正确性基线 | 同一任务在正常样例下能否得到可核查的业务结果 | 四组样例(正常/数据缺失/异常/越权)分别给通过率与失败样例现象;正常组结果能与业务原报表逐项核对 | 补齐业务对象与口径映射,重跑该组;不带未解释的失败样例进下一关 | 业务口径 负责人 |
| 二 · 越权与写操作 | 权限是否继承、写操作是否分级 | 低权限账号的越权查询在检索阶段被拦;高风险动作保留人工确认;随机一条写回可反查授权链 | 收回服务账号高权限,改为行列级继承;补写操作分级配置 | 安全/合规 |
| 三 · 异常回滚演练 | 出错能不能停下来、退回去 | 现场注入一次工具失败与一次写回不一致,系统安全停止或转人工,回滚后前后值一致,中态单据有清单 | 补回滚脚本与中态处置清单,重演一次 | IT/集成团队 |
| 四 · 连续运行窗 | 长周期是否稳定 | 覆盖每个部门至少一轮完整业务周期;月结类任务要跨过结账日;期间任务完成率、人工介入次数、单条任务耗时按部门切无结构性退化 | 延长观察窗,不靠加提示词压掉波动;定位到具体部门再复测 | 流程 负责人 |
| 五 · 回退预案 | 不行能不能退 | 旧流程保持可调用,切回权限人、触发条件、未完成任务续跑方案三项齐备并演练一次 | 补齐三项再放行;禁止「上线成功即下线旧流程」 | 运维+业务负责人 |
五关的顺序不能跳。见过最常见的压缩方式是把第四关省掉,用「连续跑了两周没问题」代替完整业务周期,结果第一个月末结账才暴露问题;也见过把第三关只写成文档不演练,真出错时发现回滚脚本依赖的备份根本没开。

图 3|智能体构建与编排平台,改一次编排要能复跑、能回退
第一关的关键在分母。 四组样例要一起报,失败样例单独列出具体现象。只报正常组通过率,等于把最容易出问题的三种情况从分母里剔掉了。2026 年 10 月那份评测基准白皮书把「把活干完、干对、留下可核查结果」写进口径,落到验收上就是这句:分母里留着失败样例,结果能反查回输入与授权。业务口径 负责人 签字,是因为「对不对」只有业务方能判,技术方只能判「跑没跑完」。
第二关要盯过滤发生的位置。 用只有部门权限的账号发起跨部门查询,看被拦是在检索阶段,还是把数据全文交给模型之后再判断能否回答。后者即使答案正确,也已经越过了边界。写操作分级同样要现场看配置:低风险自主、中高风险人工审批、关键系统写操作强制留痕与回滚。2026 年 10 至 11 月发布的安全评测框架与八维可问责要求每项都有可验证落地证据,这里交的就是证据。
第三关必须演练,不能只交文档。 现场注入一次工具失败、一次写回不一致,看系统是安全停止、转人工、回滚,还是编一个近似值继续往下走。回滚之后要检查两件事:业务数据的前后值是否一致,卡在中间态的单据有没有清单和续跑方案。缺后者,版本退回去了,差异留在账上。
第四关的长度按业务周期定,不按天数定。 高频日跑任务,两周样本已足够看出部门差异;月结类任务必须跨过结账日。判断标准是「每个部门至少一轮完整业务周期」。三项读数按部门切是硬要求,全局平均会把某个部门全线转人工抹平。2026 年 11 月多份产业材料把「连续跑三个月不出结构性故障」写成厂商落地标准,那是长周期尺度;首次进生产可以先按业务周期设窗,再在后续复测里拉长。
第五关是最便宜的一关,也最常被省。 旧流程保持可调用、切回权限人写进值班表、触发条件可自动判定、未完成任务有续跑方案,四项加起来通常一周内能做完。省掉它的代价是:一旦要退,发现旧流程已经下线,只能带着问题继续跑。
演练要真注入故障。

图 4|开箱即用的企业本体模型,业务对象没对齐就别靠调提示词压症状
五关不通过,正确的动作是退回到对应那一层补,而不是加一轮「补测通过」。三种常见误处置要避开。
第一种是调提示词压症状。某部门越权样例没拦住,改提示词让模型「不要回答跨部门数据」,看起来当场生效,但过滤位置没变,换一种问法就绕过去了。正确动作是回到第二关,把行列级继承与检索阶段过滤补上。
第二种是延长观察窗但不定位。读数波动了就「再跑一周」,一周后波动还在,且没人说得清是哪个部门、哪类任务。正确动作是按部门切开读数,定位到具体流程再复测。
第三种是打包放行:五关里过了三关,剩两关写「上线后补」。上线后补的通常永远补不上,因为一旦进了生产,改动成本比上线前高得多。可以让步的是观察窗长度与放行范围(先放单部门、只读任务),不能让步的是判据本身。
处置记录要留档,写清哪一关没过、现象是什么、改了什么、重演结果如何、谁签的字。这份记录在后续升级验收时能直接复用,不必每次从零开始。
这四件事常被混成一次「验收」,结果每件事都没做透。
选型期的 POC 验的是厂商:给四组样例,看不同候选方在同样输入下的表现,决定买谁。采购前的评测基准横比也是横着比厂商,比题目贴合度、失败样例、人工介入与反查能力。合规准入交的是材料:权限映射表、日志留存配置、第三方评测报告与标准符合性说明,证明按哪条标准放行。本文五关验的是自己的系统能不能进生产,动作与签字都在我方。
升级后的版本验收又是另一件事:判断新版本有没有把已部署场景改坏,读数是与旧版本基线对照,重点在灰度与退回触发线。它默认首次进生产的五关仍然成立;如果升级动了权限继承或写操作范围,就要重新走第二关,而不是只在验收单上加一行备注。
把四件事分开排,评审桌上就不会出现「POC 都过了怎么还不让上线」这种问法——POC 过的是厂商,没过的是自家系统。
五关都要过完才能上线吗?
判据不能让步,范围可以收窄。可以先只放单部门、只读任务,把第一、二、五关过完;带写操作的任务等第三、四关过完再放。分批放行比打包放行更省事。
连续运行窗一定要三个月吗?
按业务周期定,不按固定天数。首次进生产至少覆盖每个部门一轮完整业务周期,月结类要跨结账日;三个月是厂商落地标准的长周期口径,适合放在后续复测里逐步拉长。
回滚演练会不会影响生产数据?
在预生产环境用同一套配置演练,注入故障前后各取一次快照比对。生产环境只保留回滚预案与切回权限,不做破坏性演练。
签字人太多会不会拖慢流程?
五关的签字人其实是三个角色:业务口径、安全合规、IT/运维,加一个流程 负责人 统筹。分开签是为了回溯时能定位到段,不是多设审批层级。
已经上线了才发现没做第三关,怎么办?
先补回滚脚本与中态处置清单,在预生产演练一次,再安排一次真实任务的受控回滚验证。补做期间把高风险写操作临时收回到人工确认,别等演练完成。
本文观点