变化的mongoimport时间

Question

我有一个关于mongoimport的问题。下面是我的配置：

5台物理机。5个分片，3个配置，5个mongos。每台机器有1个分片和mongos，3个(共5个)有一个配置。

我有几百个JSON格式的文本文件，我正在使用mongoimport。我在每个mongos上执行一个mongoimport (一次5个)，直到每个文件都被导入。我正在监控每个导入的记录/秒和每台机器的cpu/内存使用情况。每台机器的cpu/内存没有显著差异。

然而，记录/秒的速度在每个mongoimport进程的4k到16k之间变化。这似乎与在给定的分片上分配新的数据文件无关。然而，它似乎更多地与导入的文件本身有关(尽管每个文件在模式上非常相似，但文件之间唯一的区别是记录的数量，并且我描述的问题发生在不同的# of records文件中)。例如，如果一个文件以10k rec/sec的速度开始导入，它似乎在整个导入过程中都会以这个速度继续，如果它以4k的速度开始导入，它就会这样。

有没有想过为什么会发生这种情况？我该如何解决这个问题呢？

Answer 1

第一个问题，在导入过程中，您可以在每台机器上运行mongostat和iostat吗？

当您执行导入时，您可能会对IO造成负担，因此我们希望看到一些IO编号。

第二个问题，你是否拥有这些机器，或者它们是“租来的”(虚拟机、云盒？)

如果您运行的是VM，则可能无法获得一致的IO。回答第一个问题会让你知道这是否相关。