基于Jenkins +机器人框架的自动化测试

Question

我们使用Jenkins进行持续集成。

我还为机器人框架测试用例创建了Jenkins工作。但在使用Jenkins运行机器人框架测试用例时，面临着一个问题。

比方说，如果我必须在Jenkins作业中包含大约300个用于机器人框架的测试用例，在运行测试用例时，如果任何测试用例失败，那么剩下的测试脚本将不会被执行。

例如:在运行测试用例时，如果第十个测试用例失败，那么剩下的290个测试用例将不会被执行！

在Jenkins中是否有更好的选择以并发的方式运行所有测试用例？-这样任何测试用例的失败都不会影响其他测试用例的执行！

我唯一的要求是--在Jenkins作业中列出的所有测试用例都必须被执行，即使任何测试用例在两者之间失败。

你能为这个问题提出一个解决方案吗？

我必须包括任何其他插件吗？

这是詹金斯工作的截图-

​

Answer 1

这不是一种批量运行测试的好方法。首先，RobotFramework日志将只包含最后一次测试的结果，即使它们都通过了。

问题是，当构建中的“Execute Shell”步骤失败时，Jenkins将停止构建。正如上面的注释所指出的，您可以尝试用exit 0更改返回状态。

但是，不是每个测试都是一个单独的构建步骤，而是使用：

pybot /home/arun/test-cases/228.txt
pybot /home/arun/test-cases/117.txt
...etc

您应该在一个步骤中一起执行它们：

pybot /home/arun/test-cases/

如果需要控制哪些测试执行，而不是该文件夹及其子文件夹中的所有有效测试文件，则使用tags。

Answer 2

https://wiki.jenkins-ci.org/display/JENKINS/Robot+Framework+Plugin列出了必要的配置步骤之一：

1. 使用"exit 0“强制您的机器人脚本成功地从shell返回，以使插件能够决定构建是否成功/失败(默认情况下，当有任何失败的测试时，机器人将带错误代码退出)

因此，如果您的测试脚本返回0，那么jenkins构建就不会失败，您可以决定要显示的结果是什么状态。

1. 为关键测试设置阈值和可选禁用阈值，仅用于计算通过百分比中的每个测试。