我在Hadoop中运行一个流作业(在Amazon的EMR上),使用Python编写的映射程序和缩减程序。我想知道如果我在Java (或使用Pig)中实现相同的映射器和reducer,我会体验到什么速度提升。
特别是,我正在寻找人们从流迁移到自定义jar部署和/或Pig的经验,以及包含这些选项的基准比较的文档。我找到了这个question,但答案对我来说还不够具体。我不是在寻找Java和Python之间的比较,而是在Hadoop中的自定义jar部署和基于Python的流之间的比较。
我的工作是从Google Books NGgram数据集中读取NGram计数,并计算聚合度量。计算节点上的CPU利用率似乎接近100%。(我也想听听您对受CPU限制的作业和受IO限制的作业的区别的看法)。
谢谢!
Amaç
发布于 2011-07-31 21:34:50
为什么要考虑部署自定义jars?
时是不可能的
什么时候用猪?
的等效任务小得多
什么时候不用猪?
中的一些本机C/C++代码
有关IO和CPU绑定作业的说明:
https://stackoverflow.com/questions/6873077
复制相似问题