从需求到可运行 Playwright 测试:Waterfall AI Test 的人工审阅与修复闭环

大家好,我是 Waterfall AI Test 的维护者。做 AI 自动化测试时,我发现让模型写出 Playwright 代码并不难,难的是让结果经过审查、真实运行、失败修复和版本管理,最终成为团队能继续维护的测试资产。

因此我做了 Waterfall AI Test。它是基于 Playwright Test Agents 的独立开源可视化工作台,不是 Playwright 官方产品。平台没有再做一个聊天窗口,而是把工作拆成七个有状态的阶段:

需求 → 测试模块 → 可编辑测试计划 → 测试脚本 → 浏览器验证 → 测试集 → 执行报告

每个阶段都保留产物和状态。想快速尝试时可以让智能体自动推进;需要控制风险时,可以确认模块与覆盖策略,修改测试计划或脚本,再选择重试、修复或执行当前版本。

我尤其想解决“生成后就结束”的问题。脚本会在真实浏览器中执行,定位器、页面状态和断言通过验证后才进入测试集。失败不会被隐藏:平台保留失败阶段、错误原因和已有日志,可以调用修复智能体,再重新运行复验;自动修复不合适时,也能人工接管,不必从头开始。

另一个设计重点是证据链。每次执行都有独立运行编号,并关联汇总结果、逐脚本状态、测试报告,以及按配置生成的视频、截图和追踪文件。测试计划和脚本的修改通过工作区本地 Git 留下版本,方便查看历史、恢复版本,并把计划、代码和运行记录对应起来。这样团队能知道某个结果由哪版计划和代码产生,也能看见失败后究竟改了什么。

项目采用 Apache-2.0 许可证,目前是公开 Beta,支持在 Linux/amd64 Docker 上由可信团队进行单组织、单租户自托管。平台会执行准备脚本和测试代码,所以不是不可信代码沙箱;只应连接已获授权、隔离、可恢复的非生产测试环境,并使用可撤销的最小权限账号。部署时需要 TLS 和访问控制,日志与执行证据也应按敏感产物管理。

GitHub:
https://github.com/jiongfeng/waterfall-ai-test-platform

在线 Demo:
http://43.130.174.131:5000/

登录账号:demouser
密码:demouser

这是公开共享环境,请勿输入真实密码、生产数据或内部需求。自托管步骤及完整安全边界以仓库文档为准。

中文演示视频:

我很想听听测试同行的意见:AI 生成的测试还要经过哪些检查,才适合进入回归测试集?失败修复记录和运行证据做到什么粒度才真正有用?欢迎讨论,也欢迎通过 GitHub Issue 提交可复现的问题。