非功能性测试，在哪个CI测试步骤中最好使用？

Question

在Continious集成阶段，在这个阶段开发中，每个人都很清楚在哪里要做什么。最统一的开发，声纳，如果需要，或RESTAPI测试通过SoapUI。

• 开发
• 各种形式的自动测试
• 用户验收测试(UAT)
• 暂存
• 生产。

烟雾测试和用户接受测试(UAT)可以在分期环境中执行。烟雾测试检查基本服务功能，UAT测试是从最终用户的角度执行的。到目前为止还不错，但是什么时候不应该定义功能测试过程，在哪个测试级别内？

让我们进行负载和性能测试，我可以在开发人员阶段之后使用它来预先模拟特定的负载场景。同时，我可以在生产中每周执行一次与向涉众提供信息的每周性能检查相同的过程。渗透测试，一方面我已经可以用SoapUI识别开发阶段的安全问题，而OWASP则在这个级别上。当然，在生产中可能最有意义的是什么。总而言之，这是一个定义问题，我什么时候应该使用非功能手段？

• 我想在这里问你一个问题。谁做过这种测试的最佳体验？
• 什么时候使用非功能性测试？
• 您是如何设置您的CI /分期环境的？
• 你什么时候用哪一步？

非常感谢莫农！

Answer 1

测试的目的是证明产品中没有某些类型的问题。但是，如果一个测试失败了，并发现有一个问题呢？你想尽快知道这一点，这样问题就可以得到纠正，而不会使公司在停机时间、因延迟交货而损失收入等方面付出太多的代价。

另一方面，不同的部署环境也存在一定的原因。对于某些测试来说，开发环境可能更改得太频繁，或者它的数据集太有限，无法使用。当在生产环境中进行测试时，问题可能会发现得太晚，而且您肯定不希望在那里运行可能破坏或破坏有价值数据的测试。

您必须在那里找到一种平衡，这种平衡并不是以一种笼统的声明的形式出现的，即所有非功能测试都属于环境X。相反，对于每个(一组)测试(S)，您应该确定在哪个环境中执行它们是最有意义的，因为您必须执行测试(或缺少测试)，并且目标是尽快发现问题而不受环境特性的阻碍。

例如，通过静态代码分析或快速自动测试执行的测试可以很容易地在开发环境中完成。运行这些测试并不需要测试人员的任何努力，只需设置工具来自动运行它们。

另一方面，如果测试需要手动完成，或者运行时间更长，那么开发环境可能对您来说太快了，最好在更稳定的暂存环境上执行这些测试。

应该尽可能避免在生产中进行测试，因为如果您发现了那里的问题，根据定义，您已经太晚了。主要的例外是依赖于生产环境中使用的机器的精确配置的测试，比如渗透测试。