用于高连接、高写入的MySQL设置

Question

我的箱子挂了。我试图设置一个运行在以下位置的MySQL框：

• 3000个连接(1000个盒子有3个工人)(已经有700个连接)
• 重笔

当前设置：

• AWS高CPU超大型实例(c1.xlarge)
• Ubuntu 10.04
• MySQL 5.5.19
• InnoDB表

配置为：my-innodb-heavy-4G.cnf。具体修改如下：

• max_connections = 65000
• innodb_buffer_pool_size = 5G

否则，一切都是默认的。对于不同的MySQL设置，你们有什么建议？

考虑因素如下：

1. MySQL集群
2. 主/从复制(我不知道这里是否会有很多收益)。

我们已经在使用最强大的AWS，所以实际上它看起来就像一个分布式系统可能是我们应该使用的方式。专用硬件可能是一种可能性，但这是一个很长的机会。

你有什么建议/认为我们应该怎么做？我是不是错过了一个神奇的配置？

谢谢你的进步，贾斯汀

Answer 1

MySQL群集很少应用于web可访问设置中。该产品主要用于专用集群环境中的数据仓库。

MySQL复制(主/从、双主等)如果你对写作有偏见的话，不会有帮助的。若要进行复制，必须在所有系统上“转发/执行”写入。这将很容易降低您的全球性能。注意:如果您有表争用(锁定整个表)，复制可能很有用，但是如果您正在使用Note，我会感到惊讶的是，这种情况经常发生。此外，在危机/复苏场景中节省的时间可以减轻拥有奴隶的性能成本--但这不是提出的问题。

你可以研究切分的概念。结合MySQL代理和精心编制的LUA脚本，您可以自动重写SQL查询，将写入拆分到MySQL系统集群(注意AWS实例的故障率)。

虽然你说这是一个长远的机会，专用的硬件选择应该仔细研究。大多数IAAS (如AWS/EC2)环境都是为非常倾向于读IO做准备的。在专用硬件上，您可以利用SSD缓存和/或存储分层。您还可以利用专用的SAN，其中I/O OPS容量是根据您的特定需求量身定制的。

Answer 2

公开-我作为MySQL集群产品团队的一部分工作。

为了纠正上面的问题，MySQL集群在web应用程序中通常用于扩展写入操作--自动分片加上多主复制提供了非常高的写入吞吐量，即在一个由8台商品英特尔服务器( http://mysql.com/why-mysql/benchmarks/mysql-cluster/ )组成的集群上每秒写入250万次。

另一方面，数据仓库实际上不是一个目标工作负载。

建议查看MySQL性能指南(reg必需的)，该指南讨论不同的切分策略：http://mysql.com/why-mysql/white-papers/mysql_wp_集群_perfomance.php