首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >JSON输入的性能问题

问JSON输入的性能问题
EN

Stack Overflow用户
提问于 2013-08-28 10:16:29
回答 1查看 1.3K关注 0票数 1

我正在通过水壶从mongodb源代码加载mysql表。Mongodb表有超过400万条记录,当我运行水壶作业时,完成第一次加载需要花费17个小时。即使对于增量负载,它也需要一个多小时的时间,我试图增加提交大小,并给任务更多的内存,但性能仍然没有提高。我认为JSON输入步骤需要很长时间来解析数据,因此它非常慢。在我的转变中,我有这些步骤

  1. Mongodb输入步骤
  2. Json输入
  3. 切线
  4. 如果字段值为空
  5. Concat字段
  6. 选择值
  7. 表输出

从postgre提取相同的400万条记录要比mongodb快得多。有什么办法可以提高我的表现吗?请帮帮我。

谢谢,Deepthi

EN

回答 1

Stack Overflow用户

发布于 2013-09-05 07:34:23

运行该步骤的多个副本。听起来像是有mongo输入,然后是json输入步骤来解析json结果,对吗?因此,使用json输入步骤的4或8个副本(或更多,取决于cpu的),它将加快速度。

或者,您真的需要解析完整的json,也许您可以通过regex或其他方法提取数据。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/18485133

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档