LLM 应用的评测集（Golden Set）怎么建（附参考答案）

兴趣爱好交流
1

题目：关于大模型应用评测集的构建与使用，下列说法不正确的是（）

A. 评测集样本必须与训练/微调语料、Prompt 模板中的示例做去重隔离，否则存在数据泄漏，指标会虚高
B. 评测集应按线上真实流量的意图分布和难度分层组织，同时保留一定比例的长尾、异常、对抗样本
C. 评测集一经确定就长期固定不变，样本量够大就不需要更新，否则回归指标失去可比性
D. 用 LLM as Judge 自动打分时，需先用人工标注校准 Judge 的一致率（如 Kappa），并固定 Judge 的模型版本、Prompt 与温度参数

难度：中级
题型：笔试（多选）

2

:point_right:参考答案/答题要点：

答案：C（选 C 为不正确项，ABD 均为工程实践中被验证过的做法）

  • C 错在两件事混为一谈：回归对比要固定版本 ≠ 评测集永不更新。正确做法是「版本化管理」——把评测集打快照（v1、v2）并与基线绑定，同一轮回归只用同一快照保证可比；随着线上 badcase 回流、新意图上线、模型换代，评测集要周期性扩充和淘汰，并记录每次变更。
  • A：数据泄漏是 LLM 评测最常见的假高分来源，必须用 n-gram / embedding 相似度做去重检查。
  • B：分布贴合真实流量，否则离线 95 分、上线一堆客诉；分层还要覆盖难度（简单/中等/复杂）、场景（正常/边界/越权/多轮）。
  • D：Judge 本身也是被测对象，需要「评测量具」的校准，且必须锁定版本参数，否则分数波动无法区分是模型回退还是 Judge 抖动。
  • 延伸采分点：评测集规模（几百条即可覆盖主要意图，不必迷信万条）、人工双标+争议仲裁、指标口径（准确率/合规率/首token延迟）与门禁阈值、badcase 闭环回流。