QA与使用计费的应用程序

Question

我们的UAT使用收费支付和其他用户管理功能。几周后，我们启用了自动测试--大约50个测试用例，每小时运行2次(当更多的人在执行预提交验证时，我们可以达到6-7次运行)，我们接到来自收费中心的电话，称我们对他们的服务进行了过多的API调用(高峰时为10次/秒)。

现在，我们能做什么？我们已经在支付商业费用了。是否有办法为开发和测试建立一个假的CO实例？(可能不是)

PS:这是为了集成测试，而不是API测试。电话是由幕后的后端服务部门打的。

Answer 1

我可以在这里提供更多的细节--我为ChargeOver工作。

首先-请直接与我们联系！我们还没有直接和你谈过(我们只和阿尔文谈过这件事)，但我们非常乐意以任何可能的方式帮助你！真的!我们喜欢帮助和代码，并希望确保一切顺利为您，也不影响我们的其他客户负面影响。

我们关注的是API请求的异常配置文件/模式以及大量的API请求。目前，我们看到的API使用率比仅仅10个请求/秒高得多--截至今天上午：

• 110,000+ API请求每小时
• 30+ API请求/__秒的平均值
• 查看60+ API请求/__秒

一些具体的统计数字：

2016-05-31 06am CST     119,206 requests/hour
2016-05-31 05am CST     130,273 requests/hour
2016-05-31 04am CST     106,377 requests/hour
2016-05-31 03am CST      65,089 requests/hour
2016-05-31 02am CST     112,494 requests/hour
2016-05-31 01am CST     117,621 requests/hour
etc. etc. etc. 

在这里内部触发一些警告的原因是，在执行~100,000+ GET /customer/X请求/小时时，只有大约大约120个您正在测试的订阅(活动客户)和大约5000个您正在测试的客户。

当您只有大约120个活动客户时，为什么您的测试需要每小时查询客户~100,000+时间？

关于你的具体问题：

现在，我们能做什么？

• 缓存--在应用程序中实现某种程度的缓存--即使缓存客户2或3秒，API请求的数量也会有很大的不同，并且还将提供提高应用程序性能的额外好处！
• 配置文件/检查你的代码--我怀疑你的应用程序中有些东西有点不稳定，因为你一次又一次地询问同一个客户，每小时数千次。
• 与我们交谈--如果你能用更多的细节联系我们，我们很乐意查看你的代码，或者讨论其他选项，如果你真的需要这个数量的API请求。考虑到这是你公司的私人财务信息，我不想真正谈论公开定价，但如果你与我们联系的话，这里可能有选择。

请让我们知道我们还能如何帮助--我们很乐意以任何可能的方式提供帮助(但也需要确保您不同寻常的API使用不会影响到我们的其他客户)。

我们已经在支付商业费用了。

如果你向我们伸出援手，我们可能在这里有选择

是否有办法为开发和测试建立一个假的CO实例？(可能不是)

您已经将这些API请求发送到生产环境的副本(一个暂存/测试环境)。