大型数据上传过程中的MySQL错误

Question

我使用python脚本和python库MySQLdb将大量数据上传到本地MySQL数据库。当我使用数据样本时，一切运行良好并上传。现在，我正在使用我的所有数据(大约300000行，分成12000个文本文件)，并收到以下错误：

"OperationalError: (2003, ""Can't connect to MySQL server on 'localhost' (10055)"")"    

在崩溃的时候，它已经上传了17231行信息。我在桌面计算机上使用Python2.7、Win7 64和MySQL 5.1.53。我使用了WAMP安装，并使用PhpMyAdmin查看数据。下面是我用来上传数据的函数的一个例子：

# upload data
def updateDB(db, table, values):

    db = MySQLdb.connect (host = 'localhost', user = 'root', passwd = '', db = db)
    cursor = db.cursor()
    print str(values)
    cursor.execute(makeSQLHeader(table, values), values)     
    db.commit()
    db.close()

这对于测试数据很好，对于我的所有数据，文本文件结构都是相同的。解决这个问题的好策略是什么？

Answer 1

我在这方面的两个想法是，要么需要很长时间才能加载，要么就是中断与超时的连接。在python 在这里发现的中有一些自动重新连接的方法，下面是mysql中的相关超时变量：等_超时和互动式_超时

第二个想法，从评论中的讨论来看，它看起来是正确的。通过打开每个文件的连接，您可能达到了mysql连接限制。

尝试打开一个连接并运行测试(当您这样做时，您可能会达到超时，这取决于所用的时间)。

Answer 2

这可能是因为您遇到了最大允许数据包的限制。您可以在my.cnf中设置如下内容：

max_allowed_packet=12M

有关更多信息，请参见这篇文章参考指南中的MySQL。