如何提高mysql数据库插入性能

Question

在与web抓取相关的PHP项目上工作，我的目标是将数据存储到mysql数据库中，在9列表中的3个索引上使用唯一的键索引，记录超过5k。

1. 我是否应该在程序级别上检查唯一的数据，比如在数组中放置值，然后在插入数据库之前进行比较？
2. 有什么方法可以加速我的数据库插入吗？

Answer 1

永远不要创建一个重复的表，这是一种反SQL模式，它使处理数据变得更加困难。

也许PDO和准备好的声明会给你一些刺激，但不要指望它能带来奇迹。

多重插入忽略可能也会给你一点提振，但不要期待它的奇迹。

您应该生成如下所示的多插入查询

插入到database.table (列)值(值)、(值)、(值)中，记住要保持mysql将具有的最大数据包大小。这样，索引文件必须更新一次。

Answer 2

除了在任何字段中没有索引外，您可以创建当前表的副本。将数据存储在此表中。

然后使用事件将数据从临时表移动到主表中。一旦数据被移动到主表，然后从临时表中删除if。

Answer 3

您可以使用triger跟踪您的更新。您应该执行update表，并且必须为该表设置正确的触发器。