性能测试:当UI/API测试的运行时增加x%时标记(Selenium C# Azure)

Question

我们的团队目前使用Selenium和C# (和NUnit)运行UI自动测试。所有测试都是手动编写的，这意味着没有使用任何记录器。

问题:我们现在有一个请求，要求这些测试跟踪自己的性能(和过去的性能)，并在运行时增加x% (5%或10%等)时发出警告。

问:实现这一目标的最佳方法是什么？我们应该从头开始创建分析这些UI和API测试的性能(性能历史)，还是从零开始创建其他工具？

讨论负载/性能测试的博客或stackExchange问题通常引用C#的三种主要工具(NeoLoad、SilkPerformer、LoadRunnerProfessional)。但是，我不确定我被要求做的是最纯粹意义上的性能测试(负载测试)，因此不确定上面提到的工具是否有助于实现总体目标。它们通常还将性能/负载测试与UI/API测试分开。

Answer 1

测试结果文件(.trx)是一个您可以为其编写解析器的XML文件。你可以刮每一个测试名称和它花了多长时间。然后，您需要将其保存到数据库或其他地方。然后，当下一个测试运行时，您可以使用脚本和“标记”来比较这两个测试。您可以决定对这些标志测试做什么，比如将列表发送给感兴趣的各方。在过去，我使用类似的脚本来做我早上所有的检查，并且在我每天早上到达的时候给我发一封电子邮件来回顾。