对于在Windows7机器上进行Hadoop开发，有没有很好的在线教程？

Question

我一直在关注the awesome Yahoo! Hadoop tutorial，它在设置虚拟机环境方面非常有效(本教程的模块3)。但是现在我被HDFS部分(模块2)难住了，我想如果我有一个特定于Windows的教程可能会更容易。我尝试使用this one，但有些步骤不太正确。我一直在努力寻找一个好的教程，可以在我的Windows7机器上工作，但我有点卡住了。有没有好的地方可以去呢？Hadoop似乎非常适合Linux用户，不幸的是，我不得不使用我的工作笔记本电脑，这是Windows7。我能做到这一点吗，或者它真的只适用于Linux用户？

Answer 1

Yahoo Developer Network上的Hadoop教程已经过时并且存在问题。其中一半的步骤对我来说根本不起作用(我在Windows7上的VMware Player中运行他们的图像)，另一半步骤很模糊。Java代码示例编写得很差，无法编译。无论如何，它们都是为旧的Hadoop API编写的。

我放弃了该教程，转而使用Cloudera Demo VM镜像。这是通过Hadoop、Pig、Hive、HBase等预先配置的。我当时就在做生意，编译和运行Hadoop作业和Pig脚本没有任何问题。

Cloudera Demo VM在其主页(https://ccp.cloudera.com/display/SUPPORT/Cloudera的s+Hadoop+Demo+VM)上的下载都是64位的。

这个版本的Cloudera发行版(CDH3u0)运行在带有Gnome桌面的Ubuntu10.10上。我安装了Eclipse来编译我的Hadoop作业，但是没有费心去安装Hadoop插件，我听说这是有问题的。第一次，我犯了一个错误，不小心通过系统的更新管理器将Cloudera发行版更新到了CDH3u3，这搞乱了我的Hadoop配置。我不知道如何正确地重新配置它，所以我只是从原始图像重新开始。

要让Pig运行，您需要首先设置JAVA_HOME变量：export JAVA_HOME=/usr/lib/jvm/java-6-sun

不幸的是，在一位熟悉Hadoop的Java开发人员朋友向我介绍Cloudera发行版之前，我浪费了大量时间学习旧的YDN教程。

Answer 2

我对hadoop完全陌生，老实说，我发现cloudera教程和信息完全没有帮助。给IBM ones一次机会吧，他们非常有帮助，而且对初学者非常友好。对于几乎所有核心hadoop应用程序和一些特定于IBM发行版的应用程序的分步说明。

这是下载链接。--

https://www14.software.ibm.com/webapp/iwm/web/preLogin.do?source=swg-ibmibqsevmw&S_TACT=109HF38W&S_CMP=109HF

你必须注册一个帐户，但这是免费的，而且不会花那么长时间。

我现在不能发布多个链接，但很容易在网上找到教程，而且它们也存在于VM中。

还有一个论坛，当我遇到困难时，我会在论坛上发布我的问题，IBM的人总是在一小时到一天内帮助我。不能张贴链接，但如果你谷歌"IBM InfoSphere BigInsights论坛“，它是第一个命中。

祝好运!

Answer 3

我现在也在尝试学习Hadoop，我所做的是下载虚拟盒子( http://www.virtualbox.org/ )并在上面加载一些linux镜像，然后开始学习下面的教程。

您甚至可以从cloudera获得预先制作的hadoop安装映像。我认为这种方法比在主计算机上安装和设置要好得多，因为如果出现问题，您的主计算机将不会受到影响(您可以简单地恢复到虚拟linux映像的旧副本，或者抓取它并重新启动，而不会产生任何影响)。

祝好运!