midscene icon indicating copy to clipboard operation
midscene copied to clipboard

feature request: merge report file of yaml scripts

Open yourgithobismygithob opened this issue 9 months ago • 1 comments

在项目中,多个测试用例执行后(我这里使用的是多个yaml文件),生成多个html报告,统计多html报告执行结果时,从哪里获取到其执行成功或失败?(目前只能手动点开每个报告进行查看或者抓取命令行实时输出的执行结果,但这个抓取命令行实时输出目前不稳定) 输出一个 json?或命令行执行日志成功/失败的log,输出保存到本地,供用户处理解析? 请考虑一个合理的结果整合方式优化使用体验提高效率。THANKS。

yourgithobismygithob avatar Apr 23 '25 02:04 yourgithobismygithob

+1,以及如果能输出每个assert的结果就更好了

Luke0426 avatar Apr 23 '25 03:04 Luke0426

Image link: https://midscenejs.com/zh/automate-with-scripts-in-yaml.html

quanru avatar Jun 06 '25 10:06 quanru

Image link: https://midscenejs.com/zh/automate-with-scripts-in-yaml.html

这个之前只是存了aiquery的结果,现在也有case的assert结果了吗

Luke0426 avatar Jun 09 '25 06:06 Luke0426

目前我试下来应该是没有把case的assert结果保存,0.18.0

yourgithobismygithob avatar Jun 09 '25 06:06 yourgithobismygithob

@yourgithobismygithob 支持的,看看这个:

Image

quanru avatar Jun 09 '25 07:06 quanru

可能和我理解的有所偏差,原本的意图是,多个html报告情况下,可以有一个地方看到报告是否成功,比如pass\fail存储在json中。 上面的回复应该是,解决了断言失败的error output,应该是2个问题。 我在本地试了下,分别是图一,制造一个fail用例,想存储fail结果到json, 图二,运行报告显示失败了,并有Error, 图三,是本地的json,没有保存fail或者error。 以上我理解,目前是支持输出错误日志到html页面报告,不支持保存html用例执行通过或不通过的结果到本地json。

Image

Image

Image

yourgithobismygithob avatar Jun 09 '25 08:06 yourgithobismygithob

是否是我理解的问题,我认为这里的用例执行fail/pass,会保存到本地json中。

Image

yourgithobismygithob avatar Jun 09 '25 08:06 yourgithobismygithob

没报错就是通过呢

quanru avatar Jun 10 '25 06:06 quanru

没报错就是通过呢

可是我运行的时候不会一直盯着看啊,批量跑完之后我怎么快速获得case的运行情况呢。现在只能手动一个个去看每个report,希望有个json可以聚合case的assert结果。

Luke0426 avatar Jun 10 '25 07:06 Luke0426

正在开发一个接口,可以将运行过程通过类似 agent._unstableLogContent() 获取 @Luke0426

quanru avatar Jun 10 '25 08:06 quanru

正在开发一个接口,可以将运行过程通过类似 agent._unstableLogContent() 获取 @Luke0426

yaml方式运行的可以用吗,我和yourgithobismygithob都是用yaml方式运行的比较多

Luke0426 avatar Jun 10 '25 08:06 Luke0426

可以的,支持!

quanru avatar Jun 10 '25 08:06 quanru