题目：团队想用 LLM-as-a-Judge 替代人工评估模型输出（或用例质量），你怎么设计这套判分方案、怎么证明它可信？
难度：高级
题型：面试口述题
参考答案/答题要点：
- 先定义可判的维度：把「好不好」拆成准确性、完整性、相关性、格式合规、是否有害等单一维度，每个维度给 3~5 档 rubric 锚定描述，禁止笼统「打 1-10 分」。
- 校准（最关键的一步）：人工标一批带金标的对照集（几百条起步），算 Judge 与人工的一致性——分类一致性用 Cohen’s Kappa（≥0.7~0.8 才可上线），连续分用 Spearman/Pearson 相关；不一致样本逐条看归因，改 rubric 再回归。没有这一步的 Judge 只能当参考，不能当门禁。
- 控制已知偏差：自偏好（裁判与被测同源模型会偏袒自家风格，换不同源模型）、位置偏差（成对比较时 A/B 交换各判一次，取一致结果）、长度偏差（明确"更长不等于更好"或做长度归一）、分数向中间档收敛（改用二分类或两两排序代替绝对打分）。
- 让它可复现：temperature=0、固定 seed、锁定模型版本与 prompt 版本号并写进评测记录；要求先输出理由再输出分数，但只取结构化字段（用 JSON schema/函数调用约束输出，判分失败要有重试与格式校验）。
- 稳定性与置信度：同一样本判 N 次看自我一致性，不一致的进人工复核；多裁判投票或加权融合；对高风险结论用分层抽样人工抽检（如 5%）作为持续监控指标。
- 数据与安全：评测集不能进微调数据和 prompt 检索库（防泄漏刷分）；被测输出与裁判指令做隔离，防 Prompt 注入操纵评分。
- 落地与成本：Judge 自身要有测试用例（用固定对照集做回归，防止模型升级导致评分标准漂移）；按批次并发跑、缓存已判样本控成本；最终定位是「人做抽检与仲裁，LLM 做全量初筛」，别宣称完全替代人工。
一句话收口：判分可信 = 明确 rubric + 与人工标注的一致性指标 + 偏差与复现性控制 + 持续抽检监控。
