Hadoop字数统计MapReduce教程已弃用

Question

我已经使用Python Hadoop Streaming做了一些工作，我认为如果我学习Java，并开始学习用Java编写Mapreduce，并且对hadoop代码库有更好的理解，那将会更有帮助。

我想运行wordcount示例并遍历每一行来学习它。但是，我设置了Eclipse和Maven，最后我让所有的红色错误消失了。然而，在这一切之后，我面前只有几段不赞成使用的代码。

(1)。我只是在浪费我的时间去学习一些不会很快生效的东西吗？

(2)。有没有可能使用Eclipse逐步完成一个完整的Map Reduce，这样您就可以很好地了解每个步骤之后发生了什么？我不是一个Java程序员，但我100%投入，并想学好它。有谁能给我指出学习它的正确方向吗？调试？JUNIT？

​

​

Answer 1

首先，学习Java和MapReduce将使我们更深入地理解MapReduce是如何工作的。您使用的Hadoop版本可能较高，旧的MapReduce API已弃用，鼓励使用新的API。

如果你想了解MR是如何工作的，你可以使用远程调试，打开调试级别日志，使用相关的JUnit测试类，深入研究源代码。

有很好的学习MR是如何工作的。