map reduce可以做哪些工作，而apache crunch不能？

Question

我在研究apache crunch。据我所知，crunch是一个基于map-reduce框架的抽象框架。我打算使用crunch而不是map-reduce框架。

我的问题是，map-reduce可以做哪些工作，而crunch不能？

Answer 1

我不认为有任何mapreduce可以做而apache crunch不能做的事情，Apache crunch是一个运行在Mapreduce之上的框架，就像Hive，Pig一样。事实上，它通过编写DoFn使map reduce编程变得简单，crunch负责使用其执行规划器和引擎在map或reduce阶段实现业务逻辑。与纯形式的map reduce代码相比，像join这样的概念很容易在crunch中实现。