当你从他们的网站上下载Apache Crunch时(它是以源代码的形式提供的),它没有基于相关的MapReduce类。两个问题:
1-这怎么可能呢?Apache Crunch是MapReduce之上的一个抽象。为什么它没有与MapReduce类一起打包呢?
2-要使用Apache Crunch进行开发,我需要做什么?我需要单独下载Crunch和MapReduce吗?如果是这样的话,我怎么知道我需要哪一个MapReduce版本来匹配压缩版本?
发布于 2016-02-18 03:19:11
我只是在Apache Crunch中查找Mapreduce类
我确实执行了一次随机检查,这些类似乎都没有扩展hadoop类,并且采用了如下方法
用于处理遗留Mappers和Reducer的静态函数,这些Mapper和Reducer位于org.apache.hadoop.mapred.*包下,作为Crunch管道的一部分。
您使用的是0.6或更早的版本吗?
https://stackoverflow.com/questions/31195172
复制相似问题