警告max_connections从pt变量-顾问-为DBaaS配置什么？

Question

我们的VM配置(托管在Vmware上)

# cat /proc/cpuinfo |grep "cpu cores" | awk -F: '{ num+=$2 } END{ print "cpu cores", num }'
cpu cores 32

# free -h
             total       used       free     shared    buffers     cached
Mem:           62G        23G        39G       500K       349M        10G
-/+ buffers/cache:        12G        50G
Swap:          50G         0B        50G

我从pt变量顾问那里得到了关于max_connections的警告：

pt-variable-advisor h=localhost,u=root,p=Quule0juqu7aifohvo2Ahratit --socket /var/vcap/sys/run/mysql/mysqld.sock
(...)
# WARN max_connections: If the server ever really has more than a thousand threads running, then the system is likely to spend more time scheduling threads than really doing useful work.
(...)

为什么？有什么细节吗？

my.cnf中的配置

max_connections                 = 15360

来自珠三角数据库集群的设置(MariaDB 10.1.x和Galera)

MariaDB [(none)]> SHOW STATUS WHERE `variable_name` = 'Threads_connected';
+-------------------+-------+
| Variable_name     | Value |
+-------------------+-------+
| Threads_connected | 718   |
+-------------------+-------+
1 row in set (0.01 sec)

MariaDB [(none)]> SHOW STATUS WHERE `variable_name` = 'Max_used_connections';
+----------------------+-------+
| Variable_name        | Value |
+----------------------+-------+
| Max_used_connections | 924   |
+----------------------+-------+
1 row in set (0.02 sec)

我找到了一个MySQL手册和一个(非常)老的相似问题。

默认值为151以提高性能。

允许的连接数由max_connections系统变量控制。当与Apache服务器一起使用MySQL时，默认值为151以提高性能。(以前，缺省值是100。)如果您需要支持更多的连接，您应该为这个变量设置一个更大的值。

和

MySQL支持的连接的最大数量取决于给定平台上线程库的质量、可用RAM的数量、每个连接使用多少RAM、来自每个连接的工作负载以及所需的响应时间。Linux或Solaris应该能够正常地支持至少500到1000个同时连接，最多可以支持10000个连接。

我们目前有460个用户，每个用户可以做100 max_connections。这将是最大值。每个用户和数据库的100 max_connections是不是太高了？有了现代连接池，我们可以将其设置为20？我们应该如何配置这一点，而不是通过上下文切换来使服务器超载呢？一个web应用程序是否有可能使用一个连接(同一连接上的每个语句)？

Answer 1

Threads_running和Threads_connected是有区别的。前者意味着许多查询同时执行某些操作。另一个在睡觉，等待用户(或应用程序)向服务器显示另一个SQL语句。

max_connections是对Threads_connected的一个限制。(Max_used_connections是一个“高水标记”。)

一个典型的繁忙系统将只有1/7‘连接’线程实际运行。而Threads_connected通常比max_connections小得多。(约20倍)

但是，在糟糕的时期，太多的连接都在执行一些缓慢的查询，导致MySQL自己绊倒了。吞吐量(查询/秒)达到了一些最大值，甚至可能下降；延迟会过高，恐慌的DBA会重新启动机器，因为他认为机器已经崩溃，而不仅仅是纠缠在一起。

解决方案是找到缓慢的查询，并找出如何加快它们的速度。或者重新设计应用程序，以提高效率。或更改架构和索引。它很少得到更大的硬件或改变可调。

在管理良好的MySQL服务器中，我很少看到超过2-3个核心在使用.然而，即使在很少核心活动的情况下，也可以执行数千次查询/秒。

在DBaaS中，你任由客户摆布。他们中的任何一个都可以编写一个草率的应用程序来控制连接、核心、I/O、网络带宽等等。

考虑限制每个用户10个连接，除非他解释了他需要做什么和/或支付你更多的钱。有了额外的钱，你可以把他隔离在一个单独的VM中。我曾经估计，在一家使用Apache和MySQL的商店里，10个线程将淹没MaxChild，而这个值需要比默认值低得多。(我们的书页很重。)如果您控制web服务器，请限制它们有多少线程。这就是在问题到达MySQL之前停止这个问题。

通过将每个用户放入自己的VM中，您将消耗额外的资源，但您可以防止其中一个用户的过度行为对其他人造成损害。

我敢打赌你的很多客户都使用WordPress？下面是模式的一个性能修补程序：http://mysql.rjweb.org/doc.php/index_烹饪书_mysql#speeding_向上_wp_后元

Answer 2

如果您想避免上下文切换，请使用MariaDB线程池，忽略pt-顾问说的任何内容，不要限制您的连接。当然，如果您有许多并发的长请求和CPU密集型请求，这可能不会有太大帮助，在这种情况下，您需要弄清楚如何修复长查询。