如何将性能测试集成到产品生命周期中？

Question

您是否以任何可重复和自动化的方式进行任何性能测试？作为CI构建的一部分，您会触发它吗？你用什么工具？你如何发现趋势的变化？

我正在寻找如何为端到端自动性能测试方法的工作设置和描述。

Answer 1

可重复-是的。自动的-不是完全的。我们已经为我们的性能测试和测试驱动程序自动化了测试数据的生成。只要有必要，测试本身就是手动触发的。例如，在发布之前，或者平台更改(现在我们正在将遗留项目从Java 5迁移到6，我们即将进行性能测试，以比较不同JVM设置的结果)。所以他们不是我们的CI构建的一部分。事实上，这在技术上是很有挑战性的，因为我们每次都需要重新生成大量的测试数据，而这个过程，尽管是自动化的，却很费时。

我们主要使用内部开发的测试工具，专门为我们的应用量身定做。该应用程序是一个古老的大型机服务器的前端，这是整个公司的骨干。测试数据需要在大型机上生成，因此需要大量的通信开销。而且，目前还不能将其随机化--我们使用一组预定义的模板，并结合来自Excel工作表的数据来创建新的测试数据。然后，测试驱动程序以标准HTTP和基于XML的专有格式向我们的服务器发送请求。

Answer 2

我们刚刚开始进行负载和性能测试。现在，我们正在进行简单的测试:为Y迭代运行操作X，可能对操作过程中可能发生的输入或事情具有一定程度的随机性(例如，偶尔关闭连接并使程序恢复)。然后自动验证各种有趣的事实--例如，所有的Y操作都在Z秒内成功完成，没有错误被记录，等等。注意，在测试之前有很多事情要定义。什么是“完成”？什么是“成功”？Z(秒数)应该有多大？

正如我说的，我们才刚刚开始；我们上周进行了第一次测试，实际上(我们几个月前就开始了该产品的工作)。我们实际上是同时建立CI，还没有把测试和CI放在一起。我不认为我们现在会将负载/性能测试应用到CI中，但我们最终可以通过运行它们进行一些迭代--估计需要5到10秒的工作时间--来完成这些小操作，然后验证这些操作是否花费了预期的时间，并检查了我们不确定的负载或性能的任何其他方面。

目前，我们正在进行夜间运行，其中包括我们的端到端测试(每个测试需要3到4分钟)和负载测试。

我们的系统目前相当简单。我们正在创建特殊的性能测试夹具，它们与我们的常规夹具一样，只是它们一遍又一遍地运行相同的操作，然后通过检查数据库时间戳、计数操作或查看日志来验证结果。稍后，我们将不得不担心负载测试网站，模仿用户等等，我们还在弄清楚我们可以使用什么工具来处理这个问题。