题目：公司上线了一套基于 RAG（检索增强生成）的智能客服问答系统。作为测试负责人，你会从哪些层面设计测试与评估？关键指标是什么？（口述，3 分钟内说清）
难度：中级
题型：面试口述题
参考答案/答题要点：
- 分层测：把"检索"和"生成"拆开评。RAG 的坑大头在检索层，不能只端到端看答案。
- 检索层指标：Recall@K / 命中率 / MRR（正确文档是否被召回、排第几）；对比向量召回 vs 关键词召回的混合策略效果。
- 生成层指标：Faithfulness/接地性（答案是否忠于召回片段，有无编造）、Answer Relevancy（是否切题）、Refusal 正确率（该拒答时是否拒答）。
- 幻觉率：构造"文档里没有答案"的问题，看模型是否硬编。
- 评估手段：金标 QA 对 + LLM-as-a-Judge 自动打分 + 抽样人工复核，三者结合；固定评测集跑回归。
- 回归触发点：知识库更新、embedding 模型/prompt/chunk 切分策略变更后必须全量回归。
- 非功能：流式首字延迟、Token 成本、并发下的稳定性；越狱/敏感/PII 等安全用例。
- 边界：多轮指代、超长文档、跨文档冲突、图片/PDF 解析失败时的兜底。
