PHP:使用队列机制处理csv文件的最佳选项，以便在mysql数据库上进行大量插入

Question

寻求一些关于如何进行这方面的一般性建议。我计划完成以下任务：

下面的内容已经在运行：。

用户通过我网站上的表单提交一个CSV文件。

文件的文件/url被发送到不同的服务器进行处理(循环遍历每个csv行，连接到我的WordPress站点，并通过WooCommerce REST作为产品创建每个项目)。

我想要达到的目标：。

例如，5个人大致同时提交一个CSV，这是一次大量写入数据库(有些文件可能有500行，1000+行)。我宁愿做一个“排队”系统：

• 收到1份CSV文件。
• 处理文件，完成所有产品的创建等。
• 完成后，移动到下一个CSV并处理下一个CSV。

注意:当我说CSV被接收时，我只是简单地传递csv url并在处理它的脚本中执行file_get_contents。

Answer 1

第一点:您需要处理的工作量很高，它不仅取决于文件的数量，还取决于单个文件的长度。例如：您有一个带有1000+行的csv。

这类文件将锁定队列很长时间，并消耗大量mysql预留内存。

因此，我将采取如下行动：

1. 获取任何文件并将它们转换为一系列mysql 多次插入查询。 通过这种方式，您可以减少从mysql到应用程序的往返次数，而如果执行单独的插入，则会发生这种情况。 考虑到最好的方法是将任何文件分割成200条左右记录的大容量插入脚本，以避免mysql内存消耗过高，这会减慢进程。
2. 为您创建的任何批量导入脚本创建一个队列作业，并将它们发送到队列处理器，我将避免使用cron作业并使用这个包装器库：php-amqlib作为起点来移动一个ampq实现。
3. 不要使用file_get_contents，而是使用fgetcsv，因为手动加载所有文件和进程可能不是最好的选择。