用数据库进行负载测试。最佳做法、工具

Question

我需要设计一种方法来强调我的生产数据库的一个克隆。目前，我正在使用，在google云中运行树节点。

我用haproxy作为负载数据库均衡器。

我公司的所有后端微服务都配置为通过haproxy连接到node1进行写操作，将节点2和3连接到select。

我想让我的数据库大三倍。

我已经在其他google实例中使用备份克隆了我的生产数据库，现在我要填充这个数据库，插入更多的记录。

我想强调一下我的新数据库x3更大，在我的负载测试中使用了使用我的调优工具(Percona和management )发现的性能较差的顶级查询。

我有三个选择：

• 使用mysqlslap
• 使用jdbc模块使用Apache JMeter
• 使用python和烧瓶设计我自己的压力工具，用我的自定义loadTest公开一个API，然后我可以使用JMeter或soapUi来强调不同的多线程配置文件，我的API并运行查询。

我想得到关于如何处理这个问题的反馈，或者询问是否有人知道在多线程环境中使用其他工具来强调数据库。

谢谢。

Answer 1

获取生产数据库的快照，同时启用常规日志。记录24小时的一般日志，这是相当典型的一天。

将数据还原到清理服务器。

编写您最喜欢的$scripting_language中的几行来解析一般日志并将其分割成n个文件，其中n至少是服务器中的CPU线程数。另外，将单独的选择、插入、更新和删除放到不同的文件集中。

并行地重放它们，只进行选择，以使缓存成为质数。然后再做一次，第二次跑步的时间。

现在你有了一个基线来衡量其他的一切。从那时起，通过添加更多的行，使表中的行数增加三倍，然后再重放一次，以衡量性能。

没有一个通用基准将接近产生像这个方法那样有意义的基准数。