如何构建多源提要解析和数据巩固守护进程？

Question

我的任务是编写一个脚本(或者更好的是一个守护进程)，它需要做以下几件事情：

1. 从几个输入xml中获取最新数据。目前有15到20种饲料，但我相信将来可能会增加到50条。提要大小介于500 KB到5 MB之间(很可能不会超过10 MB)。由于提要不是标准化格式，因此必须为来自给定源的每个提要提供一个提要解析器，以便将数据统一为单一的通用格式。
2. 将数据存储到数据库中，这样从提要中提取的每一个数据单元仍然是随着时间的推移而变化的(例如，信息每小时更新至少一次)，因此有必要保存已更改数据的存档。

在这种情况下，另一件很难管理的事情(我已经入侵了一些解决方案)是，在步骤2期间，数据库开始减速到爬行，因为大量SQL查询将数据插入到几个表中，这会影响到依赖数据库的系统的其他部分(它是一个由多个站点托管的专用服务器)。我连第三步都没办法.

关于我该如何处理这个问题，有什么提示吗？注意的注意事项？任何能帮助我解决这个问题的事情都是受欢迎的。

谢谢!

Answer 1

我的一些想法：

1. 如果数据库支持事务，您可以设计一种聪明的方法来使用数据库事务。我只对数据库事务进行了实验，但是他们说它可以将插入速度提高40% (mysql.com)，并且不会锁定表。
2. --您可以将数据附加到临时文件中，甚至可以以sql友好的格式将数据加载到数据库中。使用LOAD DATA INFILE通常要快20倍(mysql)，我习惯于快速插入100多万个条目，而且非常快。
3. 设置了某种查询系统。
4. 对每个查询进行休眠或等待(在python中，time.sleep(1)将使进程等待1秒)

我不太清楚您使用的是什么db，但是下面是优化插入的一些提示：

http://dev.mysql.com/doc/refman/5.0/en/insert-speed.html