持续集成中非功能测试用例的测试策略

Question

在大型系统开发中，非功能需求往往是最重要的，并且实现它们需要花费大部分的开发time.The非功能测试是昂贵的并且通常花费很长的时间运行非功能测试通常不能在正常的持续集成系统周期中运行，因为它们可能需要太长的执行时间-稳定性测试可能需要两个weeks.Anyone可以建议任何好的测试策略来实现连续集成过程中手动执行非功能测试，在连续集成过程中采用每2小时创建一次的自动构建

Answer 1

一些冗长的测试可以(如果是这样的话)被分成几个可以并行执行的较短的测试。

或者，CI系统可以配置为根据其容量有选择地运行更长的任务:例如，为每个流水线(间隔2小时)做典型的工作，但只运行每天1个容量的测试，每12个流水线一次，或者只要长测试的资源可用(可能选择一个已经通过较短验证的流水线，->通过较长测试的更高机会，更有意义的结果)(这甚至可以“手动”完成，通过使用CI执行的子集中的工件启动长测试)。

在某些情况下，较长的持续时间是测试基础设施或实际测试编码限制的副作用，例如无法并行执行任务，即使这不会从根本上影响测试。在这种情况下，切换到更合适的基础设施，或者分别重写测试以允许/提高并行性，可以缩短(有时显着)测试持续时间。

Answer 2

首先，祝贺你理解了非功能性需求的重要性，这仍然是一个不常见的知识！

你已经提到运行测试两周了--这对我来说似乎太长了。持续集成是关于即时反馈循环的。如果任何测试花了这么长时间，您可能只在引入后2周后才会收到严重问题的通知。如果一定要这样，我会三思而后行。

应该尽可能避免在持续集成中手动执行非功能测试。测试应该在部署后立即自动运行。如果由于某些原因，某些测试不能以这种方式运行(例如，因为它们需要更长的执行时间)，那么它们应该定期触发--当然是自动触发。

有几个选项可以加快NFT执行时间：

1. 缩减测试-例如，不是使用ramp up = x运行1000个线程，而是使用ramp up = x/10运行100个线程。如果您正确缩放所有必要的参数，一旦通过功能测试，您可能会在许多测试环境中获得准确的earlier.
2. Parallelise NFT执行反馈。如果你使用像亚马逊这样的平台，这应该是完全可能的。如果您为机器启动的时间付费，这并不会显著增加成本--总体测试执行时间可能是相似的。