FOS Elastica捆绑包填充命令被内存不足的oom_reaper杀死

Question

数据库表中有180万条记录，我希望通过fos:elastica:populate命令对其进行索引。只要elasticsearch中已经有大约500.000个文档，索引就会突然停止。

在后端服务器的dmesg中，我看到了以下内容：

[19314221.670723] Out of memory: Killed process 2640772 (php) total-vm:21738676kB, anon-rss:19847596kB, file-rss:4kB, shmem-rss:0kB, UID:0 pgtables:42352kB oom_score_adj:0
[19314224.812907] oom_reaper: reaped process 2640772 (php), now anon-rss:0kB, file-rss:0kB, shmem-rss:0kB

Elasticsearch，MySQL和PHP Symfony后端( populate运行的地方)在不同的服务器上。

我如何解决这个问题，并用文档填充elastica？

FOSElasticaBundle为v5.1.0

Answer 1

好吧。我找到的唯一解决方案(不包括租用功能强大的服务器的可能性)是使用bash脚本分部分运行填充命令。

下面是为剩余数据编制索引的示例脚本。

#!/bin/bash
for i in {6000..18000..4000}
  do 
    bin/console fos:elastica:populate --no-reset --first-page="$i" --last-page="$((i + 4000))"
  done
bin/console fos:elastica:populate --no-reset --first-page=18000