有谁知道Apache pig文档中列出了所有运算符(如group by、streaming等)以及PIG采取的相应操作,即操作符导致的MR作业的类型/数量?
我特别感兴趣的是流方面,它如何映射到MR作业。
发布于 2012-09-17 01:23:59
然而,到目前为止还不是一个完整的列表,但我认为值得阅读以下文章/部分:
在Map-Reduce之上构建高级数据流系统: Pig体验
(第4节.编译为MapReduce)
http://infolab.stanford.edu/~olston/publications/vldb09.pdf
Pig拉丁语:一门不太懂的数据处理语言
(第4.2章Map-Reduce计划汇编)
http://infolab.stanford.edu/~olston/publications/sigmod08.pdf
此外,您可以随时在脚本上执行EXPLAIN或ILLUSTRATE命令,以查看幕后发生的事情。
https://stackoverflow.com/questions/12350798
复制相似问题