在AWS RDS上间歇性地无法连接到mysql (错误2003)

Question

我们与mysql服务器的连接时断时续出现问题。我们正在接收的错误如下。

(2003, 'Can\'t connect to MySQL server on \'<connection>\' ((2013, "Lost connection to MySQL server during query (error(104, \'Connection reset by peer\'))"))') Callstack: File "/usr/lib64/python2.7/site-packages/pymysql/connections.py", line 818, in _connect 2003, "Can't connect to MySQL server on %r (%s)" % (self.host, e)) File "/usr/lib64/python2.7/site-packages/pymysql/connections.py", line 626, in __init__ self._connect()

更多信息：

• 我们有大量的EC2服务器，它们不断地运行对后端RDS的查询。
• 我们平均每秒有500个连接到RDS。
• 我们每天约有0-4次打嗝。
• 打嗝和我们的维修窗口不一致
• 当我们打嗝时，它会影响相当多的连接~50
• 当一个小插曲发生时，它会中断所有服务器和端口之间的连接。

错误本身看起来是从ec2上关闭的tcp连接生成的。我们的TCP保持活动时间被设置为7200秒，这就是错误被触发的时候。

我的问题是，怎样才能找到这些打嗝的原因呢？我很高兴它们不经常发生，但它们发生并不理想。

如有任何建议，将不胜感激！

更新10/29：

我一直在运行一个服务检查，看看我是否在sql服务器上运行了任何长进程，看起来这些错误并没有达到那么远的程度。从来没有为这个连接创建过一个新进程！我还在接受打嗝，只是没有联系的迹象。

Answer 1

因此，在亚马逊的支持下来回移动之后，我们已经找到了当前的解决方案。

Amazon通过调整RDS实例上的somaxconn值，提高了套接字侦听待办事项。

该值的缺省值为128，并已高达1024。

一旦调整了值，我们就不再收到丢失的连接错误。