在性能/压力测试工具中测试哪些参数？

Question

我准备为服务器端应用程序开发一个性能测试工具，并考虑测量以下内容：

通过SNMP进行硬件状态监视，统计响应状态和响应时间

我的问题是：

1. 检查格式良好的xml或有效的json字符串是否可行？
2. 还有什么其他的东西要测试是否存在，或者监视/跟踪等等？

Answer 1

user1108631，欢迎来到SQA。根据术语的使用方式和与您交谈的对象，性能测试可能与压力测试不同。为了简洁起见，我只会提到性能测试，但我认为我的答案适用于两者。

如果不了解更多关于服务器的信息，很难回答您的第一个问题。如果性能测试不做任何其他操作，则需要测量服务器在负载下是否(以及有多快)响应。当然，回答正确也很重要。为了将测试资源需求保持在预算范围内，性能测试可能需要接受比功能测试更低的正确性标准。例如，您可能需要确信响应包含预期的状态代码，而不是检查有关响应的所有内容。您可能需要进行实验，以便在使性能测试易于管理和检测您期望出现的问题之间找到适当的平衡。如果服务器负载时出错的第一件事是它开始返回格式不良的XML/JSON，那么您可能需要检查它。否则，这可能是不值得的费用。

关于第二个问题，您可以考虑性能应该捕获的两种度量:容量度量和诊断。容量指标描述系统的容量，例如并发用户数、每秒响应、请求和响应之间的持续时间，等等。(具体情况取决于服务器提供的服务。)诊断是帮助您理解错误原因的度量，例如内存占用、并发数据库连接的数量、CPU负载以及其他受硬件或配置设置限制的内容。

Answer 2

除了你提到的事情外，我还想知道以下几点：

• 随着请求速率的增加，故障率也随之增加。
• 作为无效响应提交的响应时间。(如果异常处理占用的时间比处理“正常”请求所花费的时间更长，则会发生这种情况)。

如果您只使用一台需要测试的机器，那么分析格式良好的XML/JSON的响应可能要处理的太多。您不想冒险扭曲您的结果，因为您的本地CPU无法继续处理服务器请求/响应，并确保响应格式良好。