【每日一题】RAG 问答系统怎么测（附参考答案）

兴趣爱好交流
1

题目：公司基于 RAG（检索增强生成）搭了一个内部测试知识库问答系统，上线前你怎么给它做测试？

难度：高级
题型：面试口述题

:point_right:参考答案/答题要点：

  1. 分层测：先测检索，再测生成
    • 检索层：构造"问题→标准文档"评测集，测 Top-K 命中率、MRR（目标文档排得够不够前）
    • 生成层：给定正确文档，测答案是否忠实文档内容，不编造（忠实度）
  2. 端到端指标：问题级准确率（人工抽检打分）、引用来源正确率、拒答能力（知识库没有的内容应该说"不知道"而不是瞎编）
  3. badcase 专项：
    • 问题改写扰动：同义改写、口语化表达后是否还能命中
    • 多文档冲突：两篇文档说法不一致时答案怎么取舍
    • 长文档截断：关键信息在文档尾部时是否还能召回
  4. 工程指标：检索耗时、生成耗时、token 成本，是否满足在线问答的响应要求
  5. 加分项：提"评测集持续回流线上真实提问"、知识库更新后要回归（文档更新可能让旧答案失效）、Prompt 注入安全测试（在文档里埋"忽略以上指令"看系统是否被劫持）。