本文回答
- 上线前红队测试应该覆盖哪些范围？
- 发现风险后怎样安排修复与复测？
面向企业AI项目业务与安全负责人，梳理上线前红队测试的覆盖边界、风险处置与复测流程，解决测试范围模糊、修复后验证无标准的实操问题，支撑团队有序完成上线前安全校验。
下文引用的公开资料仅代表对应机构的实践做法，其余内容为通用实施建议，具体测试范围与执行规则需由项目各参与方共同约定。
红队测试的覆盖边界
红队测试属于对抗性安全验证，核心是模拟恶意使用者的行为，挖掘AI应用在真实业务场景中可能被利用的漏洞。OWASP生成式AI红队指南将模型评估纳入整体红队测试范围，同时覆盖实现测试、基础设施评估与运行时行为分析三个领域76。企业可结合自身业务场景划定测试范围，通常覆盖以下维度。
- 模型能力边界覆盖诱导生成违规内容、绕过内容过滤、prompt注入篡改系统指令、诱导输出虚假信息等对抗场景。Microsoft红队规划文档建议以开放式测试发现广泛的潜在危害，测试人员可不受预设用例限制，从真实攻击思路出发开展探测75。
- 应用实现逻辑覆盖RAG系统的检索结果篡改、Agent工具调用的权限溢出、API接口的越权访问、输出内容的注入漏洞等。测试需覆盖所有用户可触及的交互入口，包括前端输入、文件上传、第三方数据接入等渠道。对涉及多轮对话的场景，需测试上下文累积后的攻击效果，避免仅测试单轮交互导致的遗漏。
- 基础设施安全覆盖模型服务的访问控制机制、日志数据的敏感信息泄露、训练或检索数据的存储安全、第三方依赖的已知漏洞等。这部分需与企业现有基础设施安全测试标准对齐，测试时需关注AI应用特有的数据类型，比如提示词模板、检索用知识库文件等，避免按传统系统测试标准遗漏相关资产。
- 运行时行为表现覆盖异常流量下的服务响应、用户身份冒用后的操作边界、内容过滤机制的绕过路径、自动化批量调用的防护效果等。测试环境需尽量复刻生产环境的配置，包括权限控制、限流规则、内容安全策略等，保障测试结果的参考价值。
Microsoft红队规划文档强调红队测试不能替代系统性测量，因此需与常规功能测试、性能测试、合规测试并行开展，共同构成上线前的验证体系75。
风险分诊的判定方法
红队测试完成后，需对发现的所有风险进行分诊，明确严重程度与处理优先级。分诊工作由安全负责人牵头，组织AI研发、业务产品、运维等相关角色共同参与。输入材料包括红队提交的风险记录，每份记录需包含复现步骤、影响场景、潜在危害等核心信息。Microsoft机器学习缺陷分级文档可作为人工智能安全问题分诊的参考，其聚焦有意或恶意行为造成的安全问题，引用的分类标准定义了常见漏洞类型和严重程度77。分诊可从三个维度评估风险等级。
- 影响范围方面，判断风险是否会导致数据泄露、服务中断、用户权益损害或业务合规问题，涉及核心业务数据或大量用户的风险等级更高。
- 利用难度方面，判断利用该风险是否需要特殊权限、专业技能或特定条件，可被普通用户低成本批量触发的风险等级更高。
- 发生概率方面，结合业务场景判断风险被触发的可能性，用户高频使用的功能中存在的风险等级更高。
分诊完成后需形成统一的风险清单，列明每个风险的等级、责任团队与初步处理方向。对分级结果存在争议的，可提交项目决策组复核，复核结果为最终结论。
修复安排与复测流程
风险分诊完成后，需按等级安排修复工作，并组织复测验证修复效果。修复工作由对应模块的研发团队负责，业务团队需评估修复对业务功能的影响，红队团队负责后续复测。修复安排通常遵循三条原则。
- 高等级风险需优先投入资源修复，修复过程中同步评估临时规避措施，比如暂时关闭相关功能入口、增加人工审核环节等，避免风险在测试或预上线阶段被利用。
- 中等级风险需在上线前完成修复，确因技术或资源限制无法按时完成的，需制定明确的后续优化计划，并取得业务负责人的书面认可。
- 低等级风险可纳入后续产品迭代队列，不影响上线节奏，但需明确跟踪责任人，定期跟进处理进度。
复测工作需遵循独立验证原则，由原红队测试人员执行，避免因研发人员的思维定势导致漏测。Microsoft红队规划文档建议通过再次测试验证风险缓解措施的改进效果，复测既要确认原风险是否消除，也要检查修复动作是否引入新的安全隐患75。对涉及模型参数或系统规则调整的修复，需同步开展功能回归测试，确认核心业务功能的表现未受影响。复测未通过的风险需返回修复环节重新调整，直到风险降至可接受范围。所有修复与复测记录需留存归档，作为上线评审的必备材料。
上线前可核对清单
团队在提交上线评审前，可对照以下清单核对红队测试相关工作的完成情况。
- 红队测试已覆盖事先约定的全部范围，包括模型、应用实现、基础设施与运行时行为四个维度
- 所有发现的风险已完成分诊分级，分级结果获得安全、研发、业务三方共同认可
- 所有高等级风险已完成修复并通过红队复测
- 中等级风险的修复计划或豁免说明已获得业务负责人确认
- 红队测试报告、风险清单、修复记录与复测结果已完整归档
- 已明确上线后针对高风险点的持续监控与响应措施
- 红队测试发现的共性问题已纳入后续项目的测试规范
