本文回答
- 知识库问答评测集应怎样准备问题与参考答案？
- 知识或模型变更后如何按既定标准复测？
本文面向企业知识库问答项目的业务负责人、产品与算法运营及知识管理岗位人员，解答上线前评测集搭建、问题与参考答案制备，以及知识模型迭代后的回归复测问题，为问答质量稳定可控提供落地参考。
下文引用的公开资料仅代表对应机构的实践做法，其余内容为通用实施建议，具体执行范围需由项目参与方共同约定。
评测问题样本的制备方法
评测问题样本由业务运营或知识管理岗位牵头制备，必要时邀请一线客服或业务专家参与。输入素材包括历史用户咨询记录、业务高频疑问场景、知识边界内的边缘查询需求，以及需触发拒答的超范围问题。制备时需兼顾不同提问方式，包括口语化表述、简称指代、多意图叠加等真实场景中常见的提问形态，避免样本均为标准化书面提问，导致评测结果与实际体验出现偏差。制备过程需覆盖不同查询类型，兼顾常见问题与冷门但关键的场景，避免样本集中于单一业务板块。形成的可检查结果为分类整理的问题样本集，样本对应业务领域与知识分类需标注清晰。若现有历史素材不足，建议通过模拟真实用户提问的方式补充样本，若样本分类存在争议，提交业务负责人裁定。
参考答案与忠实性校验规则
参考答案由熟悉知识内容的业务专家撰写，输入为对应问题的权威知识原文与业务答复规范。参考答案无需限定统一表述，需明确列出回答必须包含的核心信息点，同时标注对应知识原文的定位片段，方便后续核对。资料显示，Ragas的忠实性评估方法要求先识别回答中的全部断言，再逐项检查断言能否从检索上下文推断而来，团队可参考该逻辑设定忠实性校验规则，所有核心信息点均需能从对应知识片段中直接推导58。忠实性校验需区分信息补充与信息编造，若回答包含知识原文未提及且无法推导的内容，无论内容本身是否正确，均判定为不忠实，避免系统出现幻觉误导用户。形成的可检查结果为带知识锚点的参考答案集，每条问题对应明确的校验点。若不同专家对参考答案存在分歧，提交知识管理的决策岗位最终确认。
上线前基准评测的执行流程
基准评测由算法测试或质量保障岗位执行，输入为整理完成的评测集与待上线的知识库问答系统。资料显示，LangChain的评测体系建议上线前使用整理后的数据集开展离线评估，为基准比较准备具有标准参考输出的数据集和合理的比较指标57。团队可结合业务需要设定评测维度，除忠实性外，还可覆盖答复相关性、完整度等方向。资料显示，Microsoft Foundry支持使用现有数据集、测试输入或生产追踪开展评估，评估器可对模型输出的质量、安全与可靠性特征评分，也可按业务领域需求构建自定义评估器59。评测方式可结合自动化评估与人工抽样复核，自动化评估负责批量校验核心维度，人工复核针对边缘场景与存疑结果做最终判定，提升评测结果的可信度。形成的可检查结果为基准评测报告，报告需留存各维度的评测详情与整体基线水平，作为后续回归测试的对比依据。若评测结果未达业务预期，返回优化知识库结构、检索策略或提示词后重新执行评测。
变更后的回归测试机制
回归测试由测试岗位或自动化测试流程触发执行，输入为变更说明、历史基准评测集与变更影响范围内的补充用例。触发条件包括知识库内容更新、模型版本切换、检索策略调整、提示词优化等可能影响问答效果的变更。资料显示，LangChain的评测体系说明，回归测试应确认新版本不会退化于当前版本能够正确处理的用例，模型或架构等可能影响用户体验的变更通常需要运行回归测试57。回归范围可根据变更类型调整，若为局部知识内容更新，可仅执行对应业务领域的评测子集，若为模型或架构层面的变更，建议运行全量评测集。测试过程需沿用与基准评测一致的维度与规则，使前后结果具备可比性。自动化回归可嵌入持续集成流程，在变更提交后自动触发执行，无需人工干预即可快速反馈效果变化，提升迭代效率。若变更涉及知识的新增或修订，需同步补充对应问题样本到评测集中，保证评测集始终覆盖当前知识库的核心内容，随知识迭代同步更新。形成的可检查结果为回归测试对比报告，明确新版本相对基线的变化情况。若出现超出约定范围的效果退化，阻断变更上线，排查原因并优化后重新执行回归测试。
落地执行核对清单
- 明确评测集建设的牵头岗位与业务专家参与规则
- 梳理历史咨询与业务场景素材，完成问题样本采集分类
- 为每条问题制备带知识来源锚点的参考答案与核心校验点
- 跑通上线前基准评测流程并留存基线报告
- 明确不同变更类型对应的回归测试范围与触发条件
- 设定回归效果退化的判定标准与阻断上线的决策规则
- 安排定期复盘评测集覆盖范围，补充新的业务场景样本
