题目：公司上线了一个基于 RAG（检索增强生成）的企业内部智能客服，接入了产品手册、售后政策等文档，用户提问后由大模型生成回答。你是这个项目的测试负责人，你会怎么设计测试方案、重点测什么、用什么指标衡量效果？
难度：中级
题型：面试口述题
参考答案/答题要点：
- 分层测，不只测端到端：数据层 → 检索层 → 生成层 → 应用层，每层单独可观测、可定位。
- 数据/入库层：文档解析是否丢内容（表格、图片、PDF 分栏）、切分 chunk 是否切断语义、增量更新与删除是否生效、权限隔离（A 部门用户不能通过提问套出 B 部门文档，这是最容易被漏的高危点）。
- 检索层：构造带标准答案 chunk 的评测集，看 Recall@K / Context Precision，即"该召回的有没有召回"。检索不行，后面模型再强也白搭。
- 生成层：核心四件事——忠实度（答案是否只依据检索内容，有没有编造=幻觉）、相关性（答没答到点上）、拒答能力（知识库里没有的问题要说"不知道"，而不是硬编）、格式与多轮（追问、指代消解、超长输入）。
- 评测方法：建黄金评测集（真实用户 query + 人工标注参考答案）→ 自动化跑批 → LLM as a Judge 打分 + 人工抽检校准（抽检一致率要 90%+，否则裁判模型不可信）。可用 RAGAS / DeepEval / TruLens / LangSmith。
- 指标门槛：faithfulness、answer relevancy、context recall，回归时卡阈值，掉点即拦发布。
- badcase 闭环：线上点踩、客服转人工的会话回流成评测集，形成数据飞轮。
- 非功能：首 token 延迟、完整响应耗时、并发与限流、Token 成本、上游模型超时/降级的兜底、日志与 trace 可回溯。
- 安全：Prompt 注入（文档里藏"忽略以上指令"）、敏感信息泄露、合规话术。
