Hadoop HDFS存储位置

Question

我已经使用使用Eclipse的单个节点集群来配置Hadoop。我有很多要分析的文本文件。Eclipse提供了将文件直接上传到HDFS中的功能，但iam无法找到这些文件存储在我的驱动器中的确切位置。

iam寻找的是配置HDFS的位置。这样我就可以直接将我的文本文件粘贴到那个文件夹中。

Answer 1

这是在dfs.datanode.data.dir属性中设置的，该属性默认为file://${hadoop.tmp.dir}/dfs/data (参见details 这里)。

但是，您不能仅仅将文件放在那里，因为HDFS不会自动发现它们。插入文件HDFS也涉及namenode的元数据操作。它不仅仅是复制文件那么简单。需要将文件划分为块，并且需要在name节点中更新适当的元数据结构。您应该继续使用Eclipse提供的接口将文件上传到HDFS，或者可以在命令行中(使用hdfs dfs -put)这样做。