本文回答
- AI 事故如何判定处置优先级？
- 何时应该暂停或停用异常 AI 应用？
- 事故沟通与复盘应保留哪些信息？
本文面向企业AI项目负责人、运维与风险管理人员，梳理有害回答、异常调用等各类AI事故的处置流程，覆盖优先级判定、停用决策、沟通留痕与复盘要点，供企业搭建响应机制参考。
下文引用的公开资料仅代表对应机构的实践做法，其余内容为通用性实施建议，具体适用范围需由项目参与方共同约定。
事故优先级判定逻辑
事故优先级判定由事故指挥官主导，该角色需掌握事故整体状态，并根据需要和优先级安排响应职责，相关做法参考Google SRE的事故管理框架37。判定工作的输入包含事故上报的具体现象、影响覆盖的业务场景与用户群体、风险扩散的潜在可能，以及预先记录的组织风险容忍边界。NIST AI RMF要求根据影响、发生可能性及可用资源或方法，确定已记录风险的处置优先级14。事故响应中的优先级判定可以参照这一思路。判定过程需形成可检查的书面结论，明确响应等级、对应责任分工与初步处置动作清单，同时列明各方意见与最终结论的依据，便于后续复盘时追溯判定逻辑。若事故初期信息不足，可先按更高响应等级启动处置，待信息收集充分后再调整等级。参与判定的人员可包含业务负责人、技术运维人员与风险合规人员，各方需同步掌握事故的完整信息，避免因信息差导致判定偏差。若对优先级判定存在分歧，由事故指挥官结合各方意见最终确定。
异常应用的暂停与停用机制
企业需为表现或结果偏离预期用途的AI系统建立停用机制并明确责任，相关要求来自NIST AI RMF的风险管理框架14。暂停或停用的发起方可为业务运营方、技术运维方或风险合规方，发起时需同步提交事故现象、影响范围与初步风险判断等材料。触发暂停或停用的常见情形包括以下类型。
- 有害回答涉及敏感内容，可能引发合规风险或声誉损失
- 异常调用超出预先约定的权限范围，可能导致数据泄露或系统故障
- 事故影响超出既定风险容忍边界，且暂无有效的临时缓解手段
- 异常情况存在持续扩散趋势，可能波及其他关联业务系统
NIST AI RMF Playbook建议核验关键任务AI系统的应急流程，确认这些流程能够处置负面影响并停用系统38。暂停属于临时处置措施，排查完成后若确认风险可控可恢复运行，恢复前需完成风险验证，确认异常问题已解决且不会再次发生，验证过程需留存相关记录。停用属于长期处置措施，需经跨部门评估确认风险无法接受或系统不符合预期用途后执行。紧急情况下，一线运维人员可先行执行暂停操作，再补报审批流程与操作记录。
事故响应的沟通与过程留痕
事故响应过程中需指定专门的沟通负责人，定期向事故响应团队和利益相关方发布进展，相关安排参考Google SRE的事故沟通要求37。沟通内容需包含当前事故状态、已采取的处置措施、待解决的问题与下一步计划，避免模糊表述引发不必要的猜测。沟通时需统一对外口径，避免不同渠道发布的信息存在差异，引发不必要的误解。根据NIST AI RMF的要求，企业需向相关参与者通报事故与错误，并记录跟踪、响应和恢复过程14。事故指挥官需持续维护事故状态文档，文档支持多人共同编辑，让各方随时看到最新且准确的信息。状态文档需记录事故发生的时间节点、处置动作的执行情况、影响范围的变化与各方的反馈意见。若事故出现重大变化，沟通负责人需随时同步更新，无需等待固定的发布周期。对于受影响的外部用户，需按照预先约定的沟通渠道与话术进行告知，避免因沟通不当引发次生风险。所有沟通记录与状态文档需妥善留存，作为后续复盘的基础材料。
事故复盘的信息留存要求
事故复盘需形成完整的书面材料，记录影响、缓解措施、根因及防止复发的后续行动，相关定义来自Google SRE的复盘文化实践39。复盘工作可由事故指挥官牵头，也可由独立的风险或质量管理人员主导，保障复盘的客观性与全面性。复盘需保留的信息包含多个类别。
- 事故的基本信息，包括发生场景、影响范围、持续时长与最终造成的后果
- 处置过程的完整记录，包括每一步动作的执行人员、执行时间与实际效果
- 根因分析的过程与结论，包括直接原因、间接原因与系统性原因
- 后续改进的任务清单，包括具体动作、责任方与预期达成的效果
Google SRE的复盘实践提到，追责式氛围可能导致事故和问题被掩盖，增加组织整体风险39。因此复盘需聚焦问题本身与流程改进，而非追究个人责任。NIST AI RMF Playbook建议建立并维护收集负面影响反馈的流程，将复盘得出的改进项纳入持续监控与反馈机制中38。若对根因分析存在不同意见，需在复盘报告中保留各方观点，待后续验证后再更新结论。复盘报告需经相关方评审确认，推动后续改进动作的落地执行。
落地执行核对项
企业搭建AI事故处置机制时，可对照以下内容逐项核对。
- 已明确事故指挥官的角色与职责，以及优先级判定的输入与输出要求
- 已建立AI应用的暂停与停用机制，明确触发情形与执行流程
- 已指定事故沟通负责人，约定状态更新的频率与同步范围
- 已明确事故状态文档的维护要求与留存期限
- 已制定复盘工作的流程规范，明确需留存的信息类别
- 已将复盘改进项纳入后续的系统优化与风险管控流程
