在不少民用高风险 AI 项目的流程图里,“人工复核”常被简化为一个菱形判断框或绿色按钮:模型输出后,由某人点一下“通过”或“驳回”。这种画法掩盖了治理成本,也把可追溯决策压缩成一次鼠标动作。对高风险 AI 而言,人工复核不是界面控件,而是贯穿角色责任、记录留痕与异常上报的组织过程。本文只讨论民用高风险 AI 治理实践,依据美国国家标准与技术研究院(NIST)自愿性 AI 风险管理框架的描述展开,不提供武器技术、执法规避或合规保证。
NIST 的 AI 风险管理框架(AI RMF)将治理活动组织为 govern、map、measure、manage 四项功能,其中 govern 是横切功能,应渗透到其他三项之中,而不是在项目末期才启动的一次审批1。当组织把人工复核只画成流程图上的按钮时,往往忽略了 govern 所要求的政策、流程、程序与实践应在组织内到位、透明且有效实施1。
高风险民用 AI——例如用于招聘初筛、信贷辅助、医疗影像辅助标记或关键基础设施监测的民用系统——一旦出错,影响会落到具体个人和公共服务上。按钮只代表“有人看了”,不代表“谁有权看、依据什么看、看了之后留什么记录、发现问题后向谁上报”。NIST 指出,文档化能够提升透明度、改进人工审查流程并加强 AI 系统团队中的问责1;这正是“按钮式复核”缺失的部分。
AI RMF 的 govern 2 要求建立问责结构,使适当团队与个人被授权、负责并接受培训,以执行风险测绘、测量和管理1。在推荐的高风险 AI 文档实践里,组织应先定义角色:谁做一线复核、谁做二级复核、谁负责把复核意见回填给模型运维团队、谁决定暂停部署。Govern 2.1 明确要求与风险测绘、测量和管理相关的角色、责任和沟通线应被文档化,并对整个组织内的个人与团队清晰可见1。
一个假设示例:某民用企业部署高风险辅助决策模型,内部文档写明“A 组操作员每日抽查 50 条输出,B 组主管每周复核异常清单,C 委员会接收重大偏差报告”。这属于推荐文档实践,而非 NIST AI RMF 强制要求;但它把“按钮”背后的责任链展开成了可检查的记录。NIST 也强调高层领导要对 AI 系统开发和部署相关风险决策负责1,因此执行层复核不能替代领导层问责。
可追溯决策意味着每一次人工干预都能回答:输入是什么、模型给出什么、复核人依据什么标准修改或驳回、时间戳与版本号为何。NIST 在 govern 功能说明中提到,文档化可增强透明度、改善人工审查流程并巩固问责1。对高风险 AI 来说,推荐的高风险 AI 文档实践是把复核表单、拒绝理由分类、覆盖模型输出的操作理由都写成结构化记录。
这些记录不是给机器修动作的说明书,而是供后续审计、定期评审和事件回看的治理证据。Govern 1.5 要求对风险管理流程及其结果进行持续监控和定期评审,并明确组织角色与责任,包括确定定期评审频率1;没有留痕,定期评审就缺少输入。治理材料要能被人读懂,而不是堆在后台。
如果复核人发现问题却只能点“驳回”,流程就断了。AI RMF 的 govern 4.3 要求组织实践能够支持 AI 测试、事件识别和信息共享1。在民用高风险 AI 场景中,推荐的高风险 AI 文档实践会规定:何种偏差必须上报、上报给哪个岗位、多长时间内确认接收、以及是否触发临时限制使用。
NIST 的 AI RMF 页面还说明,2026 年 4 月 7 日 NIST 发布了关于关键基础设施中可信 AI 的 AI RMF 概况 concept note,该概况将引导关键基础设施运营方在采用 AI 能力时考虑具体风险管理实践2。对民用关键基础设施相关 AI,异常上报路径更应与现有运维事件流程衔接,而不是另建一个无人查看的邮箱。
高风险 AI 很少完全自研。Govern 6 要求有政策与程序处理来自第三方软件、数据及其他供应链问题的 AI 风险与收益1;Govern 6.2 还要求为被视为高风险的第三方数据或 AI 系统中的故障或事件准备应急流程1。人工复核文档因此应说明:当模型依赖外部组件或外部数据发生异常时,复核人如何获得提示、谁去联系供应方、以及是否暂停相关输出。
同时,Govern 1.7 要求有流程与程序以安全方式退役和逐步淘汰 AI 系统,且不以增加风险或降低组织可信度的方式进行1。在推荐的高风险 AI 文档实践中,人工复核记录也是停用决策的输入:如果某种偏差反复出现且无法通过复核缓解,退役评估就应被触发。
以下清单基于 NIST AI RMF 对 govern 功能的描述整理为推荐的高风险 AI 文档实践,不是法律要求,也不构成合规保证:一,写明一线复核、二级复核、上报接口与领导问责人;二,为每次人工覆盖模型输出记录理由分类、时间与系统版本;三,定义必须上报的偏差类型与接收确认时限;四,把第三方异常纳入同一异常台账;五,把复核频率与定期评审绑定,正如 govern 1.5 所建议的那样规划监控与评审1;六,在退役评估中引用历史复核证据。
假设示例:某民用影像辅助标记项目在季度评审中发现“边界模糊”类驳回连续三周上升,团队依据上述清单把该模式写入异常台账并提请二级复核,而非仅让操作员继续点按钮。这类做法体现 NIST 所说的文档化对透明与问责的支持1。
NIST 明确 AI RMF 为自愿使用,旨在提升将可信性考量纳入 AI 产品设计、开发、使用和评估的能力2。因此,把人工复核从流程图按钮恢复为治理过程,不是为了满足某张图的美观,而是让组织在民用高风险 AI 中具备可检查、可回看、可上报的能力。角色责任、可追溯决策与异常上报共同构成“人”的真实位置;没有这些,按钮只是把风险推迟到事故发生之后才被看见。