题目：面试官问：公司做了一个基于 RAG 的内部知识库问答（员工问制度/流程/文档，系统检索后由大模型生成回答）。让你负责质量保障，你会怎么设计测试方案？
难度：中级
题型：面试口述题
参考答案/答题要点：
分三层测，别一上来就说"点点看回答对不对"。
- 检索层：构建「问题—应命中文档」标注集，看 Recall@K、命中率、MRR/nDCG；重点覆盖文档更新后索引是否同步、切片是否切断语义、权限过滤（普通员工不能检索到高管薪酬文档，这是安全红线）。
- 生成层：事实一致性/幻觉率（回答能否被引用片段支撑）、引用溯源是否正确、该拒答时是否拒答（知识库里没有的问题不能编）、格式与多轮上下文一致性。
- 端到端与回归：沉淀固定评测集（真实高频问题 + 标准答案 + 已知 badcase），换 prompt / 换模型 / 更新 embedding 版本后跑基线对比，指标劣化即卡口。评测集要与线上真实分布对齐，且防止评测题泄进训练/微调语料。
- 非功能：首 token 耗时与总耗时、并发下的稳定性、token 成本；Prompt 注入与越权诱导、敏感内容输出。
- 评测方式本身也要测：LLM as judge 便宜但不稳，需人工抽检校准一致率；建立 badcase 归因闭环（检索没命中 / 命中没答对 / 答对但表述错）。
