首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Hadoop中的流或自定义Jar

问Hadoop中的流或自定义Jar
EN

Stack Overflow用户
提问于 2011-07-29 20:29:35
回答 1查看 2.2K关注 0票数 11

我在Hadoop中运行一个流作业(在Amazon的EMR上),使用Python编写的映射程序和缩减程序。我想知道如果我在Java (或使用Pig)中实现相同的映射器和reducer,我会体验到什么速度提升。

特别是,我正在寻找人们从流迁移到自定义jar部署和/或Pig的经验,以及包含这些选项的基准比较的文档。我找到了这个question,但答案对我来说还不够具体。我不是在寻找Java和Python之间的比较,而是在Hadoop中的自定义jar部署和基于Python的流之间的比较。

我的工作是从Google Books NGgram数据集中读取NGram计数,并计算聚合度量。计算节点上的CPU利用率似乎接近100%。(我也想听听您对受CPU限制的作业和受IO限制的作业的区别的看法)。

谢谢!

Amaç

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2011-07-31 21:34:50

为什么要考虑部署自定义jars?

  • 能够使用更强大的自定义输入格式。对于流作业,即使像前面提到的here那样使用可插拔的输入/输出,也只能将映射器/reducer的键和值限制为文本/字符串。您需要花费一定的CPU周期来转换为所需的类型。
  • 我还听说Hadoop在跨多个作业重用JVM方面很聪明,这在流式传输(无法确认这一点)

时是不可能的

什么时候用猪?

  • Pig Latin非常酷,是一种比java/python或perl更高级的数据流语言。您的Pig脚本往往比任何其他语言编写的

的等效任务小得多

什么时候不用猪?

  • 尽管pig很擅长自己计算出有多少个Map/reduce,以及何时生成一个map或reduce以及无数这样的东西,但如果您非常确定需要多少个Map/reduce,并且您需要在Map/reduce函数中进行一些非常具体的计算,并且您对性能非常具体,那么您应该考虑部署自己的jars。此link显示pig可以在性能上落后于本机hadoop M/R。您还可以看看如何编写自己的Pig,它隔离了一些计算密集型函数(甚至可能使用UDFs来调用

中的一些本机C/C++代码

有关IO和CPU绑定作业的说明:

  • 从技术上讲,hadoop和map reduce的全部意义在于并行化计算密集型功能,因此我假定您的map和reduce作业是计算密集型的。Hadoop子系统忙于执行IO的唯一时间是在通过网络发送数据时的map和reduce阶段之间。此外,如果您有大量数据,并且手动配置的映射和缩减太少,会导致溢出到磁盘(尽管太多的任务会导致启动/停止JVM所花费的时间太多,以及太多的小文件)。流作业还会有启动Python/Perl的额外开销,并需要在JVM和脚本VM之间来回复制数据。
票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/6873077

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档