我正在通过水壶从mongodb源代码加载mysql表。Mongodb表有超过400万条记录,当我运行水壶作业时,完成第一次加载需要花费17个小时。即使对于增量负载,它也需要一个多小时的时间,我试图增加提交大小,并给任务更多的内存,但性能仍然没有提高。我认为JSON输入步骤需要很长时间来解析数据,因此它非常慢。在我的转变中,我有这些步骤
从postgre提取相同的400万条记录要比mongodb快得多。有什么办法可以提高我的表现吗?请帮帮我。
谢谢,Deepthi
发布于 2013-09-05 07:34:23
运行该步骤的多个副本。听起来像是有mongo输入,然后是json输入步骤来解析json结果,对吗?因此,使用json输入步骤的4或8个副本(或更多,取决于cpu的),它将加快速度。
或者,您真的需要解析完整的json,也许您可以通过regex或其他方法提取数据。
https://stackoverflow.com/questions/18485133
复制相似问题