题目：产品接入大模型做了一个「输入一句话生成商品海报图」的功能，运营和商家会用。作为测试负责人，你怎么评估并保障这个功能的输出质量？要求能落地、能说清指标怎么来。
难度：高级 题型：面试口述题
参考答案/答题要点：
1. 先把「好不好」拆成可判定的维度（这是这题的核心考点，上来就说「人工看图」直接减分）
- 指令遵循：prompt 里的主体是否存在、数量对不对、属性（颜色/材质/文字内容）对不对、空间关系（左边/上面）对不对、动作对不对；
- 画质与结构：清晰度、畸变（手指数量、肢体扭曲、文字糊成乱码）、构图；
- 一致性：同 seed 同参数是否可复现、同一角色/IP 形象跨张是否稳定、指定风格是否跑偏；
- 安全合规：涉政涉黄、真人肖像、品牌 logo 与版权形象、竞品名、二维码与外链；
- 工程与体验：出图耗时、成功率、并发排队、失败重试、水印与生成溯源标识。
2. 评测集怎么建
- 按能力维度分桶：计数、文字渲染、多人交互、遮挡、超长 prompt、中英混合、否定语义（「不要有猫」），每桶放已知易错的 case，另加一批负样本（不该生成的违规 prompt）；
- 固定 seed、采样参数、分辨率，否则版本间不可比；
- 分三档：冒烟集（几十条，每次 CI 跑）、核心集（几百条，版本变更跑）、全量集（发布前跑）。
3. 指标怎么算（自动 + 人工 两条腿）
- 自动化辅助指标：CLIPScore/图文匹配度、OCR 检测图中文字与 prompt 要求是否一致、目标检测/关键点模型数人头数手指、VQA 反问「图中有几个苹果」；FID 只看整体分布，不适合判单张好坏；
- 人工评审：主观维度必须靠人。用「成对盲测 A/B 谁更好 → Elo/胜率」比「绝对打 1~5 分」更稳定；同时给打分卡（指令遵循/画质/安全 各自评分），并统计评审员间一致率（Kappa），一致率不达标说明标准没定清楚，先修标准再评；
- 多模态大模型做 judge 做规模化补充，但必须定期与人工标注对齐校准，防止判分器随版本漂移；
- 关键原则：自动指标只做趋势告警和回归拦截，不作为放行依据；放行靠核心集人工抽评 + 安全集 0 违规。
4. 稳定性与随机性怎么破
同 prompt 同参数多次出图结果不同，所以断言单位不能是「单张通过」，要是「N 次采样中的通过率/最好结果达标率」，并明确阈值；对 seed 固定的场景可退化为确定性断言。
5. 版本与线上闭环
- 模型、Prompt 模板、采样参数、LoRA 任一变更，全量核心集重跑 + 基线 diff，按维度看是否有能力倒退；
- 线上用重新生成率、下载/采纳率、点踩率、举报率、安全拦截命中率做反馈，反向补评测集；
- 防过拟合：评测集定期换血，保留一份不出现在任何调优流程里的 private holdout。
6. 收尾一句体现判断力
图像质量主观性强，指标不等于体验。测试的价值不是给出一个「92 分」，而是把「哪些能力变好了、哪些回归了、回归能不能接受」这个决策依据摆清楚。
