mysql读取->进程->更新，为海量数据优化

Question

我有个简单的任务。从mysql ->读取数据，执行一些操作(不太重) ->，然后将返回结果更新到mysql中。数据库中有20个不同的表(每个表大约有600000行)。

我已经用ThreadPoolExecutor(max_workers=20)编写了一个python脚本来优化整个执行时间，但是它需要大约40个小时。我想为下一轮优化它。

我试着运行多个代码实例，但是性能并不显著。有什么更好的方法来快速完成任务，比如分布式代码或其他任何人都知道的吗？

简约主义的代码

conn.autocommit = True
ThreadPoolExecutor(max_workers=20)

1. 按元组读取数据和处理元组，如下所示
2. 使用TextBlob().detect_language()从句子中检测语言
3. 更新回表

Answer 1

最快的方法是创建插入和提交每几个思想发送行。把所有的东西都写到文件里。使用mysql客户端和creata索引删除索引加载数据。优化大容量操作的服务器。

Python中的并行性不起作用。Parallelism in python isn't working right