如何在OS上运行Hadoop？

Question

我有一台macbook Pro。我认为我成功地安装了hadoop流，但是我不知道它是在哪里安装的，hdfs在哪里。我已经安装了单节点版本。我正在使用python编写代码。我将mapper.py和reducer.py放在桌面上，我也在桌面上放置了一个大文本文件，我将在桌面上运行这些程序。我遵循本教程的http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/问题是，我不知道在教程中键入“将本地示例数据复制到HDFS”部分的路径。我成功地单独运行了python文件，并使用了与教程相同的代码。我用brew安装Hadoop。

谢谢

Answer 1

which hadoop

或

echo $HADOOP_HOME 

将为您提供已安装hadoop的路径(如果您遵循了所有安装步骤)

您应该从要传输的文件所在的目录键入以下命令。或者您可以定义整个路径…。

hadoop fs -copyFromLocal /local/path/file.txt /hdfs/path/file.txt

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

更多可用的示例@ Hadoop命令shell.html#put