《使用Jev决策模型提速App测试智能体》 · 课程学习笔记

霍格沃兹测试开发学社 霍格沃兹公开课
1

一、一图看懂：决策模型是什么

一句话：把模型的输出从「一段文本」换成「一个带置信度的结构化选择」。

传统大模型逐字生成文本，擅长聊天和写作，但不告诉你把握有多大，也慢。决策模型（System 1）为自动化而生：一次并行输出多个结果，每个结果都是提前定义好的类型（选项、真假、评分），并且附带校准过的概率。

维度 传统大模型 决策模型（System 1）
训练机制 RLHF / 可验证奖励强化学习 基于校准的决策强化学习
输出形态 非结构化文本 类型安全的结构化值 + 概率 + 置信度
采样方式 自回归，逐 token 生成 一次并行输出，无中间 token
成本（输入） 约 0.2 美元 / 百万 token 约 0.042 美元 / 百万 token
延迟 3 秒 — 5 分钟 70 — 500 毫秒
擅长 写作、对话、通用智能体 流程自动化、条件分支、评估打分

为什么要关心它：UI 自动化里 90% 的判断是选择题——点哪个元素、该不该点、断言过不过。选择题不需要大模型写小作文，只需要一个又快、又便宜、还能如实报告"不确定"的模型。

二、关键数字速记

  • 1/5：输入成本约为传统大模型的五分之一（0.042 对比 0.2 美元/百万 token）
  • 70—500ms：决策模型的响应延迟，传统大模型是 3 秒起步
  • 30%：置信度低于 30% 时拒绝执行——宁可不动，不乱点
  • 94%：候选条件放宽到几十个元素时，模型选中正确按钮的概率
  • 4B：开源平替的最小模型尺寸，本地就能跑，单步决策 0.7—3 秒

三、实操案例复盘

案例 1 · 网页自动化：百度搜"北京→上海机票"

做法：不写脚本。让通用大模型加载决策模型的官方技能（skill），由它自己读文档、拆任务、驱动浏览器。

Agent loop 每步四问（建议背下来）：

  1. 当前任务完成了吗？→ 返回概率，低于阈值继续
  2. 下一步做什么动作？→ click / type / enter / scroll 四选一
  3. 如果点击，点哪个元素？→ 全部候选元素交给模型挑
  4. 如果输入，输入什么？→ 文本由外部提供，模型不生成内容

关键配置坑：技能默认写死官方 API 地址，要手动把 API_BASE 改成本地服务地址；API_KEY 随便填（本地模型不校验）。

案例 2 · App 自动化：雪球基金登录

做法：YAML 写 case（页面对象 + 步骤 + 断言），决策模型驱动执行。工程分工大致为：设备操作（adb）、页面结构（把控件树转成节点树并精简）、决策调用、报告输出。

三个工程细节（本案例的精华）：

  1. 确定性动作不过模型——Launch 直接执行，不浪费推理
  2. 置信度阈值——模型判断"当前是否在首页"这类断言，返回概率；低于 30% 视为"模型也不确定"，停止而非乱点
  3. 候选可以放宽——把"文本包含『一键登录』“（2 个候选）放宽成"所有可点击元素”（几十个候选），模型仍以 94% 概率选对。结论：不需要把元素写死，case 可以写得很薄

四、五条工程注意事项

  1. 只能做有限决策。一次塞一长串操作，后续执行不可控；一次只让它做一两个决策
  2. 文本值必须外部给。手机号、验证码等具体内容，模型不生成——写进 case 变量或交给通用大模型
  3. target / fallback 是加速项，不是必需项。候选裁剪能提速，删掉也能跑；宁可放宽条件，不要写死
  4. 断言交给模型更强。"页面有没有错别字"这类规则写不出的断言，模型可以判
  5. AI 生成的框架"够用，不精"。让它出骨架、自己改薄；想彻底脱离通用大模型，就要自己写 Agent loop（核心就是一个以决策为主的循环）

五、术语小词典

  • System 1：决策模型的运行模式，出自相关论文，特点是快速、结构化、并行
  • State：发给决策模型的当前状态，纯文本或 JSON 均可（如页面可见元素清单）
  • choice / bool / score：三类问题——多选一、0—1 概率判断、打分
  • 置信度（confidence）：模型对自己答案的把握，低于阈值就不执行
  • Fallback：候选元素的兜底配置，模型选不出时按它来
  • PO（Page Object）：页面对象模式，YAML case 中的页面即类似结构
  • 技能（skill）：封装好的调用说明，智能体加载后自动知道接口怎么调

六、开源平替与本地部署

闭源标杆之外，课程介绍了两个开源方向：

  1. Laya：本地可部署，HuggingFace 有官方封装库
  2. JeV-KeV：基于 Qwen3.5-4B 微调，兼容闭源 JeV 协议（可直接替换官方 SDK），支持 Yes/No、选择题、评分、概率四类任务；有多个尺寸，27B 版本公开评测已接近闭源水平

本地部署三步：

git clone <repo>
pip install -e .
python -m serve        # 默认端口 8009，暴露 /v1/models 与 System 1 接口

本地服务会提供与官方同名的模型别名，官方 SDK 可直接调用。

七、课后自查清单

能独立回答下面 6 个问题，这门课就算吃透了：

  1. 决策模型和传统大模型在「输出、采样、成本」上的三个核心差异是什么？
  2. Agent loop 每一步的四问分别是什么？哪一步的"文本"必须外部提供？
  3. 置信度阈值机制解决了什么问题？如果没有这个机制会发生什么？
  4. 为什么说"候选范围放宽"反而是更稳的写法？它的前提是什么？
  5. 脚本生成、纯大模型智能体、决策模型驱动，三种路线各自适合什么场景？
  6. 本地部署开源平替需要哪三步？端口和接口名是什么？

八、三种自动化路线选型（附表）

路线 效率 维护成本 断言能力 适合场景
脚本生成 高 高（弹窗/改版都要改代码） 弱，只能写规则 稳定、少变的流程
纯大模型智能体 低 低，自然语言即 case 强 探索性、低频任务
决策模型驱动 高 低 强 高频、量产自动化

结论：决策模型不是第四种方案，而是给"纯大模型智能体"补上效率短板，让它第一次具备跑量产的可能性。